[논문 리뷰] Gated Hierarchical Attention for Image Captioning

Qingzhong Wang, Antoni B. Chan|arXiv (Cornell University)|2018. 10. 30.

Multimodal Machine Learning Applications참고 문헌 43인용 수 8

한 줄 요약

이 논문은 복합적 디코더를 통해 저수준 및 고수준 시각적 특징을 융합함으로써 다중 수준의 주의와 동적 특징 게이팅을 가능하게 하는 게이팅 계층 주의(GHA) 메커니즘을 제안한다. 이 방법은 강화 학습이나 속성 부스터 기법에 의존하지 않고도 MSCOCO에서 CIDEr 점수를 0.999로 향상시켜 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Attention modules connecting encoder and decoders have been widely applied in the field of object recognition, image captioning, visual question answering and neural machine translation, and significantly improves the performance. In this paper, we propose a bottom-up gated hierarchical attention (GHA) mechanism for image captioning. Our proposed model employs a CNN as the decoder which is able to learn different concepts at different layers, and apparently, different concepts correspond to different areas of an image. Therefore, we develop the GHA in which low-level concepts are merged into high-level concepts and simultaneously low-level attended features pass to the top to make predictions. Our GHA significantly improves the performance of the model that only applies one level attention, for example, the CIDEr score increases from 0.923 to 0.999, which is comparable to the state-of-the-art models that employ attributes boosting and reinforcement learning (RL). We also conduct extensive experiments to analyze the CNN decoder and our proposed GHA, and we find that deeper decoders cannot obtain better performance, and when the convolutional decoder becomes deeper the model is likely to collapse during training.

연구 동기 및 목표

• 시각적 특징과 언어 생성 간의 다중 수준 주의를 가능하게 하여 이미지 캡션 생성 성능을 향상시키기.
• 단일 수준 주의 메커니즘이 세밀한 시각적 맥락을 포착하지 못하는 한계를 해결하기.
• 순차적 언어 생성을 병렬 계산으로 모델링하는 데 있어 복합적 디코더의 효과를 탐색하기.
• 이미지 캡션 생성에서 더 깊은 복합적 디코더의 안정성과 성능 트레이드오프를 분석하기.
• 유의미한 관련성에 기반해 저수준 시각적 특징을 고수준 표현으로 선택적으로 전달하는 게이팅 메커니즘 개발하기.

제안 방법

• 복합적 디코더의 여러 수준에서 유래한 시각적 특징을 통합하는 게이팅 계층 주의(GHA) 메커니즘을 제안한다.
• 저수준 특징이 고수준 특징에 통합되는 바닥에서부터 시작하는 접근 방식을 사용하며, 게이팅 장치가 정보 흐름을 제어한다.
• 시각적 게이팅을 통해 관련성이 없는 이미지 영역(예: 모서리)을 필터링하고, 개념 게이팅을 통해 맥락에 따라 달라지는 단어를 강조한다.
• 13개의 단어를 동시에 모델링할 수 있는 커널 크기 3, 6층의 워드-CNN 기반 디코더를 사용하여 추론 속도와 성능을 향상시킨다.
• 이중 게이팅 메커니즘을 도입: 시각적 게이팅은 공간 주의를, 개념 게이팅은 맥락 의존성을 제어하며, 둘 다 학습 도중 동적으로 학습된다.
• 사전 훈련된 Image-CNN의 특징 맵을 입력으로 사용하며, 각 디코더 레이어에서 주의를 계산하여 계층적 상호작용을 가능하게 한다.

실험 결과

연구 질문

• RQ1 다중 수준 시각적 특징을 융합하는 계층 주의 메커니즘이 이미지 캡션 생성 성능을 향상시킬 수 있는가?
• RQ2 LSTM과 같은 순환 모델에 비해 복합적 디코더의 성능과 훈련 안정성 측면에서 어떤가?
• RQ3 시각적 게이팅과 개념 게이팅의 도입이 특징 선택 및 주의 해석 가능성 향상에 기여하는가?
• RQ4 이미지 캡션 생성에서 복합적 디코더의 최적의 깊이와 커널 크기는 무엇이며, 더 깊은 아키텍처가 항상 성능 향상에 기여하는가?
• RQ5 강화 학습이나 속성 부스터 기법 없이도 게이팅 계층 주의 메커니즘이 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 제안된 GHA 메커니즘은 MSCOCO 데이터셋에서 CIDEr 점수를 0.923에서 0.999로 상승시켜 강화 학습이나 속성 부스터 기법을 사용하는 모델들과 비교해도 성능이 유사함을 입증했다.
• CIDEr 점수는 8.2% 상승하고 SPICE 점수는 8.6% 상승하여 캡션 품질과 일치도 향상됨을 보여주며, 뚜렷한 성능 향상이 있음을 확인했다.
• 더 깊은 복합적 디코더(예: 6층 초과)는 더 넓은 이론적 수신 필드를 가짐에도 불구하고 훈련 불안정성과 모델 붕괴를 유발함을 확인했다.
• 커널 크기를 3를 초과해 늘리면 성능이 약간 감소하며, CIDEr 점수는 0.923에서 각각 0.914와 0.913으로 떨어짐.
• 주로 주의가 비객체 영역(예: 이미지 모서리)에 집중할 경우 시각적 게이팅은 주로 비활성화되며, 기능어(예: 'a', 'of')에 대해 개념 게이팅이 더 활성화되어 맥락 의존성을 반영함.
• 게이팅 메커니즘은 계층적 스위칭을 가능하게 하며, 시각적 게이팅은 국소적 특징을 필터링하고, 개념 게이팅은 특히 낮은 디코더 레이어에서 맥락 이해를 촉진한다.