[논문 리뷰] Bringing back simplicity and lightliness into neural image captioning

Jean-Benoit Delbrouck, Stéphane Dupont|arXiv (Cornell University)|2018. 10. 15.

Multimodal Machine Learning Applications참고 문헌 34인용 수 4

한 줄 요약

이 논문은 핵심 구성 요소를 단순화함으로써 최소한의 파라미터와 계산으로도 뛰어난 성능을 달성하는 경량이고 효율적인 신경 이미지 캡셔닝 모델을 제안한다: d=128인 작은 학습 임베딩, 컴act한 cGRU 디코더, 풀링된 CNN 특징, 그리고 간단한 어텐션 메커니즘을 사용한다. 간단한 구조임에도 불구하고 CIDER 및 METEOR 지표에서 더 강력한 베이스라인을 능가하며, 높은 성능을 내기 위해 복잡성이 필수적인 것은 아님을 보여준다.

ABSTRACT

Neural Image Captioning (NIC) or neural caption generation has attracted a lot of attention over the last few years. Describing an image with a natural language has been an emerging challenge in both fields of computer vision and language processing. Therefore a lot of research has focused on driving this task forward with new creative ideas. So far, the goal has been to maximize scores on automated metric and to do so, one has to come up with a plurality of new modules and techniques. Once these add up, the models become complex and resource-hungry. In this paper, we take a small step backwards in order to study an architecture with interesting trade-off between performance and computational complexity. To do so, we tackle every component of a neural captioning model and propose one or more solution that lightens the model overall. Our ideas are inspired by two related tasks: Multimodal and Monomodal Neural Machine Translation.

연구 동기 및 목표

• 최소한의 계산 비용과 모델 복잡도로 높은 성능을 달성하는 신경 이미지 캡셔닝 모델을 개발하기 위해.
• 이전 연구에서 흔히 사용되는 대규모 사전 훈련된 임베딩과 복잡한 아키텍처에 대한 의존도를 줄이기 위해.
• 캡셔닝 파이프라인의 각 구성 요소를 단순화하여 성능-복잡도 트레이드오���을 탐색하기 위해.
• 간결한 아키텍처가 표준 지표에서 더 복잡한 모델을 능가할 수 있음을 입증하기 위해.
• 미래의 신경 이미지 캡셔닝 연구를 위한 확장 가능하고 효율적인 기준 모델을 제공하기 위해.

제안 방법

• GloVe나 word2vec와 같은 대규모 사전 훈련된 임베딩 대신 차원 d=128인 작은 공동 학습 임베딩 행렬을 사용한다.
• 파라미터와 계산을 최소화하기 위해 은닉 상태 크기가 감소된 컴act한 cGRU(조건부 게이팅 순환 단위) 디코더를 적용한다.
• 완전한 특징 맵 대신 풀링된 CNN 특징(ResNet-50에서 유도)을 대상으로 하는 단순하고 효과적인 어텐션 메커니즘을 적용한다.
• 추가 정규화나 복잡한 디코딩 헤드 없이 출력 어휘에 대한 단일 투영 행렬을 사용한다.
• 교차 엔트로피 손실을 사용해 엔드 투 엔드로 훈련하고, CIDER 점수 향상을 위해 정책 기반 강화 학습(PG)으로 미세조정한다.
• 모델을 확장하여 임베딩 및 은닉 차원을 늘리거나 어텐션을 다중헤드 어텐션(MHA)으로 교체함으로써 성능 향상을 추가로 달성한다.

실험 결과

연구 질문

• RQ1 신경 이미지 캡셔닝 모델이 훨씬 적은 파라미터와 더 적은 계산으로도 뛰어난 성능을 달성할 수 있는가?
• RQ2 작은 공동 학습 임베딩이 이미지 캡셔닝에서 대규모 사전 훈련된 임베딩을 능가하는가?
• RQ3 풀링된 특징을 기반으로 한 단순화된 어텐션 메커니즘이 전체 특징 맵에 대한 어텐션을 따라잡거나 능가할 수 있는가?
• RQ4 경량 아키텍처를 얼마나 확장하여 복잡성 증가 없이 성능을 향상시킬 수 있는가?
• RQ5 더 단순한 모델 아키텍처가 복잡한 최신 기술 모델보다 더 좋은 일반화 성능 또는 더 빠른 훈련 속도를 제공하는가?

주요 결과

• RL-PG 미세조정을 통해 제안된 모델은 CIDER 점수 1.071을 기록하며, 기준 XE 모델보다 +63점 높게 성과를 냈다.
• 기준 XE 모델 대비 METEOR 점수는 +63점 향상되었으며, 몬테카를로 롤아웃 변형보다도 뛰어난 성능을 보였다.
• 임베딩에 d=128만 사용하고 은닉 상태가 작은 cGRU를 사용함으로써, 파라미터 수가 크게 감소한 상태에서도 강력한 성능을 유지했다.
• 모델 확장은 효과적으로 작동한다: cGRU 크기를 두 배로 늘리거나 어텐션을 다중헤드 어텐션(MHA)으로 교체하면 CIDER 점수가 추가로 향상된다.
• 더 강력한 기준 모델(Renn et al.)보다 BERTScore(B4), METEOR, CIDER 등 모든 지표에서 성능을 뛰어넘었으며, 더 단순하고 빠른 훈련 과정을 제공했다.
• 제거 실험 결과, 작은 임베딩, 풀링된 특징, 컴act한 디코더의 조합이 성능과 효율성의 핵심 요소임을 확인했다.