[논문 리뷰] What are the visual features underlying human versus machine vision?

Drew Linsley, Sven Eberhardt외 3명|arXiv (Cornell University)|2017. 01. 10.

Visual Attention and Saliency Detection참고 문헌 33인용 수 7

한 줄 요약

이 연구는 참가자들이 협동적으로 객체 식별에 핵심적인 이미지 영역을 선택하게 하여 인간이 객체 인식에 사용하는 진단 시각적 특징을 특정하는 웹 기반 게임인 Clicktionary를 소개한다. 딥 신경망(DCNs)이 인간 수준의 정확도를 달성하고 있음에도 불구하고, 이 연구는 인간 유래 중요도 맵과 DCN 특징 유사도 맵 사이에 약한 상관관계가 있음을 밝혀내어 인간 시각과 기계 시각 간의 근본적으로 다른 시각 전략을 시사한다.

ABSTRACT

Although Deep Convolutional Networks (DCNs) are approaching the accuracy of human observers at object recognition, it is unknown whether they leverage similar visual representations to achieve this performance. To address this, we introduce Clicktionary, a web-based game for identifying visual features used by human observers during object recognition. Importance maps derived from the game are consistent across participants and uncorrelated with image saliency measures. These results suggest that Clicktionary identifies image regions that are meaningful and diagnostic for object recognition but different than those driving eye movements. Surprisingly, Clicktionary importance maps are only weakly correlated with relevance maps derived from DCNs trained for object recognition. Our study demonstrates that the narrowing gap between the object recognition accuracy of human observers and DCNs obscures distinct visual strategies used by each to achieve this performance.

연구 동기 및 목표

• 눈동자 추적 또는 시각적 주목도 기반 방법을 넘어서 인간이 객체 인식에 사용하는 시각적 특징을 규명하는 것.
• 딥 컨volution 네트워크(DCNs)가 성능이 유사하더라도 인간과 유사한 시각적 표현을 사용하는지에 대한 이해의 격차를 메우는 것.
• 다양한 객체 카테고리에 걸쳐 인간 유래 중요도 맵을 유연하고 스케일러블하게 도출하는 협동적 방법을 개발하는 것.
• 새로운 행동 기반 접근법을 사용해 인간의 시각 전략과 DCN의 전략을 비교하는 것.
• 인간이 애너테이션한 특징 중요도 맵이 생물학적 시각 시스템과 인공 시각 시스템 간의 격차를 메울 수 있는지 탐색하는 것.

제안 방법

• Clicktionary는 한 명의 플레이어(선생)가 객체 식별에 필수적인 것으로 보는 이미지 영역을 선택하고, 다른 플레이어(학생)가 그 영역들만으로 객체를 식별하도록 하는 웹 기반 게임이다.
• 참가자 쌍 수천 쌍의 클릭 데이터를 집계하여 중요도 맵을 생성하며, 픽셀 강도는 진단적 역할을 하는 영역으로서의 선택 빈도를 반영한다.
• 이 방법은 피사체의 주목도나 시각적 자극도가 아닌, 진단적 정보의 '핫스팟'을 식별하기 위해 협동적 인간 인지의 힘을 활용한다.
• 중요도 맵은 인간의 눈동자 추적 데이터에서 유도된 시각적 주목도 맵과 계산 모델(예: DeepGaze)의 결과물, 그리고 LRP 및 기울기 기반 민감도 분석을 사용한 DCN(VGG16)의 중요도 맵과 비교된다.
• 통계 분석을 통해 다양한 이미지 카테고리에서 인간 중요도 맵과 인간 유래 주목도 맵, DCN 중요도 맵 간의 상관관계를 측정한다.
• 이 연구에서 도출된 인간이 식별한 중요도 맵 데이터셋은 향후 시각 모델 훈련을 지원하기 위해 clickme.ai 에 공개된다.

실험 결과

연구 질문

• RQ1 인간 관찰자가 객체를 인식하는 데 사용하는 시각적 특징은 무엇이며, 이는 개인 간 일관성이 있는가?
• RQ2 인간이 유도한 진단 특징은 눈동자 추적 또는 계산 모델에서 유도된 이미지 주목도 맵과 어떻게 비교되는가?
• RQ3 딥 컨volution 네트워크(DCNs)가 객체 인식 과정에서 인간과 동일한 시각적 특징에 얼마나 의존하는가?
• RQ4 인간과 DCN이 높은 객체 인식 정확도를 달성하고 있음에도 불구하고, 이들의 시각 전략에 체계적인 차이가 존재하는가?
• RQ5 인간이 애너테이션한 특징 중요도 맵이 기계 시각 시스템의 성능 향상이나 일치도 향상에 기여할 수 있는가?

주요 결과

• Clicktionary로 유도된 중요도 맵은 참가자 간 강한 유사성을 보이며, 안경 렌즈 위의 프레임 같은 진단적 특징이 일관되게 식별됨을 시사한다.
• 인간 중요도 맵은 계산 모델(예: DeepGaze)과 인간 눈동자 추적 데이터에서 유도된 시각적 주목도 맵과 상관관계가 없으며, 이는 중요도 맵이 단순히 주목도가 높은 특징을 반영하는 것이 아니라 진단적 가치를 반영한다는 것을 시사한다.
• 인간 중요도 맵과 VGG16의 LRP 중요도 맵 간 상관관계는 약하다(r < 0.5)며, 이는 DCN이 인간과 다른 시각적 특징에 의존하고 있음을 시사한다.
• 기울기 기반 민감도 맵과의 상관관계 역시 유사하게 약하여, DCN과 인간이 서로 다른 시각 전략을 사용하고 있음을 강화한다.
• 인간 중요도 맵과 주목도 맵 간의 상관관계는 최대한 약하며, 이는 진단적 특징이 단순히 가장 시각적으로 두드러진 특징이 아니라는 것을 확인한다.
• 이 연구는 DCN이 높은 객체 인식 정확도를 달성하고 있음에도 불구하고 인간과 공유하는 시각적 표현이 아니며, 이는 핵심적인 전략적 차이를 드러낸다.