[논문 리뷰] Anytime Prediction as a Model of Human Reaction Time

Omkar Kumbhar, Elena Sizikova외 2명|arXiv (Cornell University)|2020. 11. 25.

Adversarial Robustness in Machine Learning참고 문헌 26인용 수 4

한 줄 요약

이 논문은 물체 인식에서 인간의 반응 시간을 모델링하기 위해 즉각 예측( anytime prediction)을 통한 조기 종료 신경망을 제안한다. 노이즈가 첨가된 CIFAR-10 이미지에서 인간과 MSDNet의 성능을 비교한 결과, 정확도를 동일하게 조정한 조건에서 두 관측자 모두 거의 동일한 속도-정확도 트레이드오프를 보이며, 이는 즉각 예측 분류가 인간의 지각 결정 과정에 대해 강력한 후보 모델임을 시사한다.

ABSTRACT

Neural networks today often recognize objects as well as people do, and thus might serve as models of the human recognition process. However, most such networks provide their answer after a fixed computational effort, whereas human reaction time varies, e.g. from 0.2 to 10 s, depending on the properties of stimulus and task. To model the effect of difficulty on human reaction time, we considered a classification network that uses early-exit classifiers to make anytime predictions. Comparing human and MSDNet accuracy in classifying CIFAR-10 images in added Gaussian noise, we find that the network equivalent input noise SD is 15 times higher than human, and that human efficiency is only 0.6\% that of the network. When appropriate amounts of noise are present to bring the two observers (human and network) into the same accuracy range, they show very similar dependence on duration or FLOPS, i.e. very similar speed-accuracy tradeoff. We conclude that Anytime classification (i.e. early exits) is a promising model for human reaction time in recognition tasks.

연구 동기 및 목표

• 딥 신경망에서의 즉각 예측을 사용하여 물체 인식 작업에서의 인간 반응 시간을 모델링하기.
• MSDNet과 같은 조기 종료 아키텍처가 지각 결정 과정에서 관찰된 인간의 속도-정확도 트레이드오프를 재현할 수 있는지 조사하기.
• 다양한 노이즈 조건 하에서 인간과 신경망 간의 효율성 격차를 정량화하기.
• 독독성은 시각 처리의 시간적 결함으로 간주할 수 있는 계산 프레임워크를 제공하기.
• 모달리티 간 성능 비교를 가능하게 하기 위해 인간의 반응 시간과 네트워크의 FLOPs 간 선형 변환을 통해 둘을 정렬하기.

제안 방법

• 중간 분류기와 함께 다중 척도 및 밀집 연결된 네트워크인 MSDNet을 사용하여 신뢰도 점수에 기반한 조기 종료를 허용한다.
• 작업 난이도를 조절하기 위해 CIFAR-10 테스트 이미지에 다양한 수준의 화이트 가우시안 노이즈(표준편차 0.0에서 1.0까지)를 적용한다.
• 각 종료 지점에서의 정확도와 FLOPs를 측정하여 다양한 노이즈 수준에 대한 속도-정확도 곡선을 생성한다.
• 관측자가 고정된 지연 시간(200–1000 ms)에 반응하도록 훈련한 블록 설계 파라다임을 사용하여 인간 실험을 수행하며, 각 블록의 정확도를 기록한다.
• 네트워크의 FLOPs 소비를 인간의 반응 시간(밀리초 단위)과 정렬하기 위해 F = (11/600)(T - 400)의 선형 매핑을 수립한다.
• 인간과 네트워크의 경우, 성능에 영향을 주지 않는 노이즈 수준을 식별하여 등가 입력 노이즈(EIN)를 추정한다.

실험 결과

연구 질문

• RQ1 신경망에서의 즉각 예측이 물체 인식에서 인간의 속도-정확도 트레이드오프를 재현할 수 있는가?
• RQ2 노이즈가 증가함에 따라 인간 관측자와 딥 신경망의 물체 인식 효율성은 어떻게 비교되는가?
• RQ3 네트워크 성능을 인간 수준으로 맞추기 위해 필요한 노이즈 수준은 무엇이며, 이는 상대적 처리 효율성에 대해 어떤 의미를 갖는가?
• RQ4 인간과 즉각 예측 네트워크가 동일 조건에서 테스트될 경우, 둘의 속도-정확도 트레이드오프 곡선이 일치하는가?
• RQ5 즉각 예측 메커니즘은 독독성의 시간적 결함을 이해하기 위한 타당한 계산 모델이 될 수 있는가?

주요 결과

• 네트워크의 등가 입력 노이즈(EIN)는 인간 관측자보다 15배 높으며, 네트워크의 EIN은 0.6 SD, 인간의 EIN은 0.04 SD이다.
• 인간의 인식 효율은 네트워크의 0.6%에 불과하여, 동일한 정확도 수준에서 네트워크가 노이즈에 훨씬 더 강건함을 시사한다.
• 인간과 네트워크가 유사한 정확도를 달 đạt하도록 노이즈 수준을 조정한 경우, 둘의 속도-정확도 트레이드오프 곡선은 처리 시간 또는 FLOPs 기준으로 거의 동일하다.
• 두 관측자 모두 노이즈가 각자의 EIN 임계값 이하일 경우 성능 변화가 최소한이므로, EIN 추정치의 타당성이 확인된다.
• 인간 관측자의 정확도는 반응 시간이 길어질수록 증가하고, 노이즈가 많을수록 감소하며, 일치 조건에서 네트워크의 곡선 형태와 매우 유사하다.
• 선형 스케일링 계수 F = (11/600)(T - 400)은 네트워크의 FLOPs를 인간의 반응 시간과 성공적으로 정렬하여 성능 역학을 직접 비교할 수 있게 한다.