[논문 리뷰] Seeing with Humans: Gaze-Assisted Neural Image Captioning

Yusuke Sugano, Andreas Bulling|arXiv (Cornell University)|2016. 08. 18.

Multimodal Machine Learning Applications참고 문헌 55인용 수 49

한 줄 요약

이 논문은 LSTM 기반의 캡션 생성 아키텍처 내의 분할 주의 메커니즘에 인간의 시선 데이터를 통합하는 시선 보조 신경망 이미지 캡션 모델을 제안한다. 고정된 영역과 비고정 영역을 모두 선택적으로 주의하면서, COCO/SALICON에서 캡션 생성 성능을 향상시킨다. 이는 인간의 시선이 기계적 주의를 보완하여 종합적인 시각적 장면 이해를 가능하게 한다는 것을 보여준다.

ABSTRACT

Gaze reflects how humans process visual scenes and is therefore increasingly used in computer vision systems. Previous works demonstrated the potential of gaze for object-centric tasks, such as object localization and recognition, but it remains unclear if gaze can also be beneficial for scene-centric tasks, such as image captioning. We present a new perspective on gaze-assisted image captioning by studying the interplay between human gaze and the attention mechanism of deep neural networks. Using a public large-scale gaze dataset, we first assess the relationship between state-of-the-art object and scene recognition models, bottom-up visual saliency, and human gaze. We then propose a novel split attention model for image captioning. Our model integrates human gaze information into an attention-based long short-term memory architecture, and allows the algorithm to allocate attention selectively to both fixated and non-fixated image regions. Through evaluation on the COCO/SALICON datasets we show that our method improves image captioning performance and that gaze can complement machine attention for semantic scene understanding tasks.

연구 동기 및 목표

• 인간의 시선이 물체 중심 응용 분야를 초월하여 장면 중심 작업(예: 이미지 캡션 생성)에서 성능 향상에 기여할 수 있는지 조사하기 위해.
• 인간의 시선, 딥 러닝 기반의 인식 모델, 그리고 바닥에서 출발하는 시각적 주목성 간의 관계를 분석하기 위해.
• 분할 주의 메커니즘을 통해 고정된 영역과 비고정 영역을 모두 활용하는 새로운 시선 보조 이미지 캡션 모델을 개발하기 위해.
• 대규모 벤치마크에서 기준 주의 모델과 주목성 기반 모델에 비해 제안된 모델의 성능을 평가하기 위해.
• 시선을 시각-언어 작업에서 주의 메커니즘의 감독 신호로 활용할 잠재력을 탐색하기 위해.

제안 방법

• SALICON 데이터셋에서 확보한 시선 데이터를 활용하여, 인간의 고정점을 이미지 상의 공간 히트맵으로 표현한다.
• 주의 계산을 두 개의 브랜치로 나누는 분할 주의 메커니즘을 제안한다: 하나는 시선 고정 영역에 집중하고, 다른 하나는 비고정 영역에 집중한다.
• 사전 훈련된 CNN(예: VGG-19)에서 추출한 컨볼루션 특징과 시선 히트맵을 융합하여, LSTM 기반의 캡션 생성 네트워크에서 주의를 유도한다.
• 시선 기반 주의맵과 바닥에서 출발하는 주의맵을 가중 평균하여 이미지 전반에 걸쳐 주의를 동적으로 할당한다.
• 캡션 생성을 위해 크로스 엔트로피 손실과 비트 시퀀스 디코딩을 사용하여 엔드 투 엔드로 모델을 훈련시킨다.
• 다중 척도 특징 표현을 활용하여 주목할 만한 영역과 비주목 영역 모두의 국소화를 향상시킨다.

실험 결과

연구 질문

• RQ1 상위 수준의 물체 및 장면 인식 모델과 비교해 볼 때 인간의 시선은 바닥에서 출발하는 주목성 모델보다 중요한 영역과 더 강하게 상관되는가?
• RQ2 바닥에서 출발하는 주목성 모델이 달성할 수 있는 성능을 초월하여, 시선 정보가 주의 기반의 이미지 캡션 생성 모델의 성능을 향상시킬 수 있는가?
• RQ3 시선 데이터 통합을 통해 모델이 고정되지 않은 영역이지만 의미적으로 중요한 이미지 영역에 주의를 기울일 수 있는가?
• RQ4 시선 보조 주의는 표준 주의 메커니즘과 주목성 기반 모델에 비해 이미지 캡션 생성에서 어떻게 비교되는가?
• RQ5 특히 혼잡한 환경에서 인간의 고정을 끌지 않는 물체를 설명하는 데 시선이 도움이 될 수 있는가?

주요 결과

• 인간의 시선은 바닥에서 출발하는 주목성 모델보다 물체 인식 모델에서 중요한 영역과 더 강하게 상관되며, 이는 의미적 주의에 있어 가치가 있음을 시사한다.
• 제안된 시선 보조 모델은 COCO/SALICON 데이터셋에서 기준 주의 모델보다 이미지 캡션 생성 성능을 향상시켰으며, 최신 기술의 주목성 기반 모델과 유사한 성과를 달성했다.
• 모델은 인간의 고정을 끌지 않는 물체(예: 스노우보드, 스키)에 대한 설명을 성공적으로 생성하여, 고정점 외부의 영역에 주의를 기울일 수 있음을 보여주었다.
• 분할 주의 메커니즘이 '새로운', '칼', '우산', '소방hydrants'와 같이 작은 의미적 중요도를 가진 물체에 대해 어휘 발견 성능을 향상시켜 F-스코어 향상을 보였다.
• 배경 장면 카테고리(예: '탑', '테이블', '활주로')와 맥락 관련 단어(예: '밤', '경기')에서는 성능이 약간 저하되어 전반적인 맥락을 포괄하는 데 한계가 있음을 시사한다.
• 모델의 행동은 특히 중심과 주변 영역 간의 주의 전환을 인간의 시각적 인지와 더 유사하게 반영하며, 정성적 예시를 통해 이를 확인할 수 있었다.