[논문 리뷰] Learning what and where to attend

Drew Linsley, Dan Shiebler외 2명|arXiv (Cornell University)|2018. 05. 22.

Visual Attention and Saliency Detection인용 수 16

한 줄 요약

이 논문은 게임화된 온라인 실험을 통해 수집한 대규모 인간 유도 주의 지ap(attention maps) 데이터셋인 ClickMe를 소개한다. 이는 딥 컨volution 네트워크(DCNs) 학습을 위한 더 강력한 지도 신호를 제공하기 위함이다. ClickMe 데이터를 사용해 새로운 글로벌-로컬 주의(GALA) 모듈을 공학습시킴으로써, 기존의 표준 또는 시각적 흥미도 기반 지도 모델에 비해 분류 정확도를 크게 향상시키고, 인간과 일치하는 더 해석 가능한 시각적 특징을 생성한다.

ABSTRACT

Most recent gains in visual recognition have originated from the inclusion of attention mechanisms in deep convolutional networks (DCNs). Because these networks are optimized for object recognition, they learn where to attend using only a weak form of supervision derived from image class labels. Here, we demonstrate the benefit of using stronger supervisory signals by teaching DCNs to attend to image regions that humans deem important for object recognition. We first describe a large-scale online experiment (ClickMe) used to supplement ImageNet with nearly half a million human-derived "top-down" attention maps. Using human psychophysics, we confirm that the identified top-down features from ClickMe are more diagnostic than "bottom-up" saliency features for rapid image categorization. As a proof of concept, we extend a state-of-the-art attention network and demonstrate that adding ClickMe supervision significantly improves its accuracy and yields visual features that are more interpretable and more similar to those used by human observers.

연구 동기 및 목표

• 시각 인식을 위한 딥 러닝에서 약한 지도 신호의 한계를 해결하기 위해 명시적인 인간 주의 신호를 통합하는 것.
• ImageNet 규모에서 고품질의 인간 유도 주의 지점 지도를 수집할 수 있는 확장 가능한 방법을 개발하는 것.
• 인간의 시각 전략과 일치시켜 주의 메커니즘의 해석 가능성과 성능을 향상시키는 것.
• 인간 지도 주의가 DCN에서 더 인간과 유사하고 효과적인 시각 표현을 만들어내는지 조사하는 것.

제안 방법

• 게임화된 온라인 플랫폼(ClickMe)을 활용해 ImageNet 이미지에 대해 거의 50만 개의 인간 레이블 주의 지점 지도를 수집하였으며, 플레이어들은 물체 인식을 위한 진단적 이미지 영역을 선택했다.
• ClickMe 데이터셋을 보조 지도 신호로 사용하여 주로 이미지 분류 작업과 함께 글로벌-로컬 주의(GALA) 모듈을 공학습시켰다.
• GALA 모듈은 공간적 및 채널 기반 주의를 결합하여, 인간이 식별한 진단 영역에 기반해 특징 맵을 조절하도록 학습한다.
• 이 방법은 공간 위치와 특징 채널을 동시에 고려하는 이중 경로 구조를 갖춘 힘줄-확장(SE) 모듈의 확장이다.
• ClickMe 지도 주의 지점 지도가 하향식 시각적 흥미도 지도보다 빠른 분류에 더 진단적임을 검증하기 위해 무작위화 테스트를 실시했다.
• 모델 성능은 ImageNet과 COCO에서 상위 1위/상위 5위 정확도 및 진짜 세그멘테이션 마스크와의 교차율(IOU)을 사용해 평가했다.

실험 결과

연구 질문

• RQ1 인간에서 유도된 주의 지점 지도는 분류 레이블만 있는 경우보다 딥 컨volution 네트워크 학습을 위한 더 강력한 지도 신호가 될 수 있는가?
• RQ2 인간 주의 지도를 공학습시킴으로써 DCN에서 더 해석 가능하고 인간과 일치하는 시각적 특징이 생성되는가?
• RQ3 ClickMe 지도 주의 지도는 하향식 시각적 흥미도 지도보다 빠른 이미지 분류를 지원하는 데 얼마나 효과적인가?
• RQ4 인간 주의를 통합할 경우 최신 주의 모듈에서 분류 정확도와 표현 품질이 얼마나 향상되는가?

주요 결과

• ClickMe 지도 모델은 약 30만 개의 샘플로 구성된 축소된 데이터셋에서 학습했을 때, 표준 ResNet-50 및 SE-ResNet-50에 비해 상위 5위 오차를 약 25% 감소시켰다.
• ClickMe 주의 지도에 따라 마스킹된 이미지에서 6%의 픽셀만 노출되어도 참가자들이 이미지 분류에서 최고 성능에 도달했으나, 하향식 시각적 흥미도 지도에서는 전체 이미지가 필요로 했을 때 유사한 성능를 달성했다.
• ClickMe 지도로 학습된 GALA-ResNet-50 모델의 주의 지도는 COCO 인스턴스 세그멘테이션 마스크와 0.26 IOU를 기록했으며, 이는 ClickMe 미사용 버전의 0.03 IOU보다 유의미하게 높았다(p < 0.001).
• ClickMe 데이터셋은 빠른 분류에 있어 더 뛰어난 진단 능력을 보였으며, 인간이 식별한 특징이 하향식 시각적 흥미도 특징보다 더 정보가 많다는 것을 확인했다.
• ClickMe 지도로 학습된 GALA 모듈은 인간 관찰자가 사용하는 특징과 정량적·정성적으로 유사한 시각적 특징을 생성했다.