[논문 리뷰] Top-down Visual Saliency Guided by Captions

Vasili Ramanishka, Abir Das외 2명|arXiv (Cornell University)|2016. 12. 21.

Multimodal Machine Learning Applications참고 문헌 31인용 수 6

한 줄 요약

이 논문은 아키텍처 수정 없이 픽셀 수준의 애너테이션을 요구하지 않고 사전 훈련된 이미지 및 비디오 캡셔닝 모델에서 공간적 및 시공간적 시각적 주목도 지도를 추출하는 Caption-Guided Visual Saliency 방법을 제안한다. 영역 치환을 통한 정보 이득 추정을 통해 캡셔닝 문장의 단어와 시각적 특징 간의 매핑을 드러내며, 최신 모델과 유사한 캡셔닝 성능을 달성하면서도 명시적 어텐션 메커니즘보다 더 정확한 주목도 히트맵을 생성한다.

ABSTRACT

Neural image/video captioning models can generate accurate descriptions, but their internal process of mapping regions to words is a black box and therefore difficult to explain. Top-down neural saliency methods can find important regions given a high-level semantic task such as object classification, but cannot use a natural language sentence as the top-down input for the task. In this paper, we propose Caption-Guided Visual Saliency to expose the region-to-word mapping in modern encoder-decoder networks and demonstrate that it is learned implicitly from caption training data, without any pixel-level annotations. Our approach can produce spatial or spatiotemporal heatmaps for both predicted captions, and for arbitrary query sentences. It recovers saliency without the overhead of introducing explicit attention layers, and can be used to analyze a variety of existing model architectures and improve their design. Evaluation on large-scale video and image datasets demonstrates that our approach achieves comparable captioning performance with existing methods while providing more accurate saliency heatmaps. Our code is available at visionlearninggroup.github.io/caption-guided-saliency/.

연구 동기 및 목표

• 엔드 투 엔드 이미지 및 비디오 캡셔닝 모델 내 암묵적인 영역-단어 매핑을 드러내어, 이는 이질적인 블랙박스로 간주되는 경우가 많다.
• 고정된 물체 레이블을 넘어서 자연어 문장에 의해 이끌리는 상향식 시각적 검색을 가능하게 한다.
• 특정 단어 생성에 기여하는 이미지 또는 비디오 영역을 시각화하여 캡셔닝 모델의 해석 가능성을 제공한다.
• 명시적 어텐션 레이어를 추가하거나 픽셀 단위의 감독을 요구하지 않고도 정확한 주목도 국소화를 달성한다.
• 약한 수준의 이미지 또는 비디오 수준의 캡셔닝만으로도 모델이 공간적 및 시간적 맥락에서 의미적 개념을 암묵적으로 국소화할 수 있는지 평가한다.

제안 방법

• 주목도는 정보 이득 측정을 통해 계산된다: 각 공간적 영역 또는 시간적 프레임을 하나의 대표 패치로 치환하고, 단어 생성 확률의 변화를 관찰한다.
• 캡션의 각 단어에 대해, 특정 영역이나 프레임을 마스킹한 경우와 아닌 경우의 해당 단어 생성 확률의 로그우도 차이를 주목도로 계산한다.
• 이 방법은 인코더-디코더 캡셔닝 모델에 적용되며, 비디오 분석에 대해 LSTM 기반의 S2VT 아키텍처를 기본 모델로 사용하고, 이미지 분석에 대해서는 유사한 설정을 적용한다.
• 예측된 캡션과 임의의 쿼리 문장에 모두 주목도 지도를 생성하여 다양한 입력에 대한 모델 행동 분석이 가능하다.
• 이 방법은 LSTM 기반 모델에 적합한 신호 손실 기법을 활용하며, 정보 이득을 특징 중요도의 대체 지표로 사용한다.
• 명사구별로 정규화를 적용하여 색상 코딩된 히트맵을 생성하며, 빨간색은 최고 주목도, 파란색은 최저 주목도를 나타낸다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 시각 캡셔닝 모델은 명시적 감독이나 어텐션 레이어 없이도 캡션의 단어에 대응하는 시각적 개념을 암묵적으로 국소화할 수 있는가?
• RQ2 캡셔닝 모델에서 생성된 주목도 지도가 문장 내 특정 단어의 생성에 기여하는 시각적 영역을 얼마나 정확히 국소화하는가?
• RQ3 암묵적 주목도를 갖춘 캡셔닝 모델의 성능은 명시적 소프트 어텐션 메커니즘을 갖춘 모델와 비교해 캡셔닝 품질과 국소화 정확도 측면에서 어떻게 다를까?
• RQ4 제안된 방법은 이미지 및 비디오 데이터 모두에서 모델 행동을 설명할 수 있으며, 동작과 물체의 시간적 국소화도 가능한가?
• RQ5 모델의 주목도 예측이 인간 애너테이션 기반의 참값과 일치하는가? 특히 중심에 있지 않거나 모호한 물체의 경우에도 그렇다.

주요 결과

• 제안된 Caption-Guided Visual Saliency 방법은 최신 모델과 유사한 캡셔닝 성능을 달성하며, MSVD에서 METEOR 점수 31.0, MSR-VTT에서 25.9, Flickr30k에서 18.3를 기록한다.
• Flickr30kEntities 데이터셋에서, 특히 '동물'이나 '기타'와 같이 중심에서 벗어나 있는 카테고리에서 소프트 어텐션 기반 베이스라인보다 주목도 정확도에서 뛰어난 성능을 보였다.
• 이중적으로도, 명시적 소프트 어텐션 모델보다 더 정확한 주목도 히트맵을 생성하였으며, 이미지 및 비디오 벤치마크에서 높은 주목도 정확도 지표로 이를 입증하였다.
• 비디오 분석에서, 핵심 단어에 대해 시간적으로 주목할 만한 프레임을 정확히 식별하였다. 예를 들어, 스케이팅이라는 단어에 대해 스케이터가 주요 초점이 아니더라도 눈이 있는 영역을 강조하였다.
• 명사구에 대해서는 인간과 기타 주목할 만한 물체를 일관되게 국소화하였지만, 시각적 유사성으로 인해 오류가 발생하기도 했는데, 예를 들어 문을 창으로 잘못 인식하는 경우가 있었다.
• 색상 기반 주목도에서 놀라운 행동을 보였는데, 예를 들어 '빨간색'에 대해 자전거 기사 주변에 주목도를 할당한 반면, '흰색' 주목도는 다른 곳에 산산이 흩어져 있었다. 이는 정교한 단어-영역 연관성을 보였지만 항상 직관적이지는 않은 결과를 보였다.