[논문 리뷰] Human Attention in Fine-grained Classification

Yao Rong, Wenjia Xu외 2명|arXiv (Cornell University)|2021. 11. 02.

Retinal Imaging and Analysis참고 문헌 54인용 수 14

한 줄 요약

이 논문은 Gaze Augmentation Training(GAT)과 Knowledge Fusion Network(KFN)을 도입하여 인간의 시선 데이터를 딥러닝 모델에 통합함으로써 세분화된 이미지 분류를 위한 새로운 접근법을 제안한다. CUB-GHA라는 새로운 시선 애너테이션 데이터셋과 CXR-Eye에서의 의료 영상 데이터를 사용하여, 인간의 주의 집중이 분류 정확도를 최대 4.38% 향상시킴을 입증함으로써 인간의 시선이 분류에 유의미한 특징을 드러내며 모델 성능과 해석 가능성 향상에 기여함을 보여준다.

ABSTRACT

The way humans attend to, process and classify a given image has the potential to vastly benefit the performance of deep learning models. Exploiting where humans are focusing can rectify models when they are deviating from essential features for correct decisions. To validate that human attention contains valuable information for decision-making processes such as fine-grained classification, we compare human attention and model explanations in discovering important features. Towards this goal, we collect human gaze data for the fine-grained classification dataset CUB and build a dataset named CUB-GHA (Gaze-based Human Attention). Furthermore, we propose the Gaze Augmentation Training (GAT) and Knowledge Fusion Network (KFN) to integrate human gaze knowledge into classification models. We implement our proposals in CUB-GHA and the recently released medical dataset CXR-Eye of chest X-ray images, which includes gaze data collected from a radiologist. Our result reveals that integrating human attention knowledge benefits classification effectively, e.g. improving the baseline by 4.38% on CXR. Hence, our work provides not only valuable insights into understanding human attention in fine-grained classification, but also contributes to future research in integrating human gaze with computer vision tasks. CUB-GHA and code are available at https://github.com/yaorong0921/CUB-GHA.

연구 동기 및 목표

• 세분화된 이미지 분류에 있어 인간의 주의가 분류에 핵심적인 분류 기초가 되는 특징에 집중하는지 조사한다.
• 인간의 시선 데이터가 이미지 분류 작업에서 딥러닝 모델 성능 향상에 기여할 수 있는지 검증한다.
• 신경망 학습 및 추론 과정에 인간의 시선 지식을 효과적으로 통합하는 방법을 개발한다.
• 세분화된 시각 인식을 위한 시선 애너테이션을 포함한 새로운 벤치마크 데이터셋인 CUB-GHA를 구축한다.
• 의료 영상과 같은 고위험 분야에서 인간의 주의가 모델 신뢰도 향상과 인간의 의사결정과의 일치성 향상에 실질적인 가치를 지닌다는 것을 입증한다.

제안 방법

• CUB 세분화된 분류 데이터셋에서 인간의 시선 데이터를 수집하여, 고정점에서 유도된 시각적 중요도 지도를 기반으로 한 CUB-GHA 데이터셋을 구축한다.
• 시선 기반 주의 지도를 사용하여 인간의 집중 영역을 강조함으로써 학습 데이터를 증강하는 Gaze Augmentation Training(GAT)을 제안한다.
• 추론 과정에서 이미지 특징과 시선에서 유도된 주의 특징을 융합하는 이중 브랜치 아키텍처인 Knowledge Fusion Network(KFN)을 도입한다.
• Grad-CAM을 활용하여 KFN의 이미지 브랜치와 시선 브랜치의 주의 지도를 시각화하고 비교함으로써 인간의 주의와의 일치성을 확보한다.
• CUB-GHA 및 CXR-Eye 데이터셋에 대한 공정한 평가를 위해 5겹 교차검증을 적용하여 성능 비교의 신뢰성을 확보한다.
• 고정점에 대한 가우시안 필터링을 통해 시선 데이터를 주의 히트맵으로 변환하여 모델 통합을 위한 시각적 중요도 지도를 생성한다.

실험 결과

연구 질문

• RQ1 세분화된 이미지 분류 작업을 수행할 때 인간은 분류에 핵심적인 특징에 주목하는가?
• RQ2 인간의 시선 데이터는 세분화된 분류 작업에서 딥러닝 모델의 성능 향상에 기여할 수 있는가?
• RQ3 시선 데이터 통합이 모델의 해석 가능성과 인간의 의사결정과의 일치성에 미치는 영향은 어떠한가?
• RQ4 새로운 종류의 시각 데이터(새 종류, 의료용 체질영상 등)에 적용했을 때 시선 통합의 성능 향상 효과는 일관된가?
• RQ5 다양한 데이터 수집 환경에서 시선 지식 통합에 가장 효과적인 방법은 데이터 증강인지 특징 융합인지 무엇인가?

주요 결과

• 세분화된 분류 작업에서 인간의 시선은 항상 분류에 핵심적인 영역, 예를 들어 새의 부리나 날개 무늬와 같은 특징에 집중함을 확인함으로써 인간의 주의가 필수적인 특징을 정확히 타겟으로 삼고 있음을 입증한다.
• Knowledge Fusion Network(KFN)은 CXR-Eye 데이터셋에서 기준 모델 대비 3.45%의 정확도 향상을 달성하였으며, 흩어진 시선 패tern을 보다 효과적으로 활용함으로써 이 경우 GAT보다 뛰어난 성능을 보였다.
• GAT와 KFN을 모두 통합한 최종 모델은 CXR-Eye 데이터셋에서 기준 모델인 EfficientNet-b5 대비 4.38%의 정확도 향상을 달성하여 75.35%의 정확도를 기록하였다.
• CUB-GHA 데이터셋에서는 KFN이 GAT보다 성능 향상이 더 크며, 이는 시선 고정점이 여러 영역에 흩어져 있을 경우 특징 융합이 데이터 증강보다 더 효과적임을 시사한다.
• KFN에서 도출된 모델 설명은 기준 모델보다 인간의 시선 지도와 더 밀접하게 일치함으로써 의료 진단 분야에서 모델의 신뢰도와 해석 가능성 향상에 기여한다.
• CUB-GHA 데이터셋은 인간-AI 상호작용이 필요한 작업을 위한 향후 연구에 유용한 자원을 제공한다.