[논문 리뷰] Using Artificial Tokens to Control Languages for Multilingual Image Caption Generation

Satoshi Tsutsui, David Crandall|arXiv (Cornell University)|2017. 06. 20.

Multimodal Machine Learning Applications참고 문헌 16인용 수 17

한 줄 요약

이 논문은 추론 시 타겟 언어를 제어할 수 있도록 인공 토큰(예: <en>, <jp>)을 사용하는 통합 신경 이미지 캡셔닝 모델을 제안한다. 영어와 일본어 사이의 언어적 거리가 있음에도 불구하고, 단일 언어 모델과 비교해 정확도 손실가 최소화되며 경쟁적인 성능을 달성하여 다국어 캡처를 위한 컴act한 공유 아키텍처를 가능하게 한다.

ABSTRACT

Recent work in computer vision has yielded impressive results in automatically describing images with natural language. Most of these systems generate captions in a sin- gle language, requiring multiple language-specific models to build a multilingual captioning system. We propose a very simple technique to build a single unified model across languages, using artificial tokens to control the language, making the captioning system more compact. We evaluate our approach on generating English and Japanese captions, and show that a typical neural captioning architecture is capable of learning a single model that can switch between two different languages.

연구 동기 및 목표

• 다국어 이미지 캡처를 가능하게 하는 단일 통합 신경망 모델을 개발하는 것.
• 각 언어별로 별도의 모델을 훈련시키는 것과 비교해 모델 복잡도와 메모리 사용량을 줄이는 것.
• 영어와 일본어처럼 언어적으로 거리가 먼 두 언어에서 정확한 문장 생성을 효과적으로 학습할 수 있는 단일 모델의 가능성을 평가하는 것.
• 다중모odal 캡처링에서 인공 토큰을 언어 제어 신호로 사용할 수 있는지 탐색하는 것.
• 모바일 플랫폼과 같은 자원 제약이 있는 장치에서 다국어 캡처링을 효율적으로 구현할 수 있도록 하는 것.

제안 방법

• 훈련 시 각 캡처의 시작 부분에 언어별 인공 토큰(예: <en> 또는 <jp>)을 삽입하여 모델이 타겟 언어에 조건화되도록 하는 것.
• 이미지 특징을 추출하기 위해 CNN(ResNet50)을 사용하고, 시각적 특징과 은닉 상태를 기반으로 자동적으로 캡처를 생성하기 위해 LSTM을 사용하는 것.
• 이미지와 언어 토큰이 주어졌을 때 진짜 캡처의 음의 로그우도를 최소화하기 위해 교차 엔트로피 손실을 사용해 모델을 종합적으로 훈련하는 것.
• 추론 시 원하는 언어 토큰(예: <en>)을 사용해 비드 서치를 수행하여 지정된 언어로 캡처를 생성하는 것.
• 단어 임베딩과 원-핫 인코딩을 입력 토큰으로 사용하며, 언어 토큰은 어휘의 일부로 간주하는 것.
• 모든 파라미터를 언어 간에 공유하면서 영어 및 일본어 캡처의 병합된 데이터셋을 기반으로 단일 모델을 훈련하는 것.

실험 결과

연구 질문

• RQ1 인공 언어 토큰에 조건화된 단일 신경 캡처링 모델이 여러 언어에서 정확한 캡처를 생성할 수 있는가?
• RQ2 통합 모델과 별도의 언어별 모델 간에 영어 및 일본어 캡처에서의 성능는 어떻게 비교되는가?
• RQ3 영어와 일본어처럼 언어적으로 거리가 먼 언어 간에 단일 모델이 얼마나 잘 일반화되는가?
• RQ4 언어 제어를 위해 인공 토큰을 사용할 경우 단일 언어 모델 대비 성능 저하가 심한가?
• RQ5 통합 모델이 메모리 사용량과 추론 시간에서 충분한 효율성 향상을 달성해 모바일 또는 엣지 장치에 구현 가능한가?

주요 결과

• 통합 모델은 영어 테스트 캡처에서 CIDEr 점수 0.593, 일본어 테스트 캡처에서 0.594를 기록했으며, 각각 단일 언어 모델의 0.651과 0.631과 비교해 정확도 손실가 최소화되었다.
• 통합 모델의 Bleu-1 및 Bleu-4 점수는 영어에서 0.558과 0.184, 일본어에서 0.693과 0.310로, 성능 저하가 미미한 편이었다.
• 영어와 일본어 사이의 언어적 거리가 있음에도 불구하고, 모델은 두 언어 모두에서 문법적으로 올바르고 맥락적으로 관련된 캡처를 생성했다.
• 통합 모델는 별도의 모델 대비 메모리 사용량과 추론 시간을 절반으로 줄여 자원 제약이 있는 환경에서 더 적합한 성능을 보였다.
• 정성적 분석 결과, 모든 모델에서 유사한 오류 패tern(예: 물이 있는 장면에서 물 관련 객체에 과도하게 집중하는 것)을 보였다.
• 인공 토큰을 통한 언어 전환에 대해 모델은 제로샷 추론에서도 두 언어에서 일관된 성능을 보이며 강건성을 입증했다.