[논문 리뷰] AutoCaption: Image Captioning with Neural Architecture Search

Xinxin Zhu, Ning Wang외 2명|arXiv (Cornell University)|2020. 12. 16.

Multimodal Machine Learning Applications참고 문헌 62인용 수 9

한 줄 요약

이 논문은 파rameter 공유를 사용하는 강화 학습을 통해 이미지 캡션 생성을 위한 RNN 기반 디코더 아키텍처를 자동으로 설계하는 신경망 아키텍처 탐색(NAS) 프레임워크인 AutoCaption을 제안한다. 이 방법은 수작업으로 설계된 LSTMs와 Transformers보다 더 효과적이고 효율적인 텍스트 생성 모델을 발견하여, MSCOCO에서 최고 성능을 기록하며 정확도는 향상되고 모델 크기는 감소시켰다.

ABSTRACT

Image captioning transforms complex visual information into abstract natural language for representation, which can help computers understanding the world quickly. However, due to the complexity of the real environment, it needs to identify key objects and realize their connections, and further generate natural language. The whole process involves a visual understanding module and a language generation module, which brings more challenges to the design of deep neural networks than other tasks. Neural Architecture Search (NAS) has shown its important role in a variety of image recognition tasks. Besides, RNN plays an essential role in the image captioning task. We introduce a AutoCaption method to better design the decoder module of the image captioning where we use the NAS to design the decoder module called AutoRNN automatically. We use the reinforcement learning method based on shared parameters for automatic design the AutoRNN efficiently. The search space of the AutoCaption includes connections between the layers and the operations in layers both, and it can make AutoRNN express more architectures. In particular, RNN is equivalent to a subset of our search space. Experiments on the MSCOCO datasets show that our AutoCaption model can achieve better performance than traditional hand-design methods.

연구 동기 및 목표

• 수작업으로 효과적인 RNN 기반 디코더 아키텍처를 설계하는 데 드는 시간과 비효율성을 해결하기 위해.
• 최적의 신경망 아키텍처를 자동으로 탐색함으로써 이미지 캡션 생성의 텍스트 생성 성능을 향상시키기 위해.
• 표준 Transformer 및 LSTM 모델과 비교해 성능을 유지하거나 향상시키면서 계산 비용과 모델 크기를 줄이기 위해.
• 공유 파라미터와 강화 학습을 활용해 더 빠른 아키텍처 탐색을 가능하게 하는 효율적인 NAS 프레임워크를 개발하기 위해.

제안 방법

• 이 방법은 효율적인 최적의 RNN 디코더 아키텍처 탐색을 위해 파라미터 공유를 사용하는 강화 학습을 적용한다.
• 검색 공간에는 층 간 연결과 층 내 연산을 모두 포함하여 다양한 아키텍처 구성 요소를 탐색한다.
• 평가 지표인 CIDEr와 같은 성능 피드백을 기반으로 컨트롤러 네트워크가 아키텍처를 샘플링한다.
• 프레임워크는 단순한 Show-Attend-Tell 모델에서 시작하여, 이중선형 주의 메커니즘과 같은 고급 구성 요소를 점차 통합한다.
• 학습 과정에서 CIDEr 지표를 통해 직접적으로 캡션 생성 성능을 최적화하도록 검색 과정을 이끌며, 단지 교차 엔트로피 손실만을 사용하는 것과는 다릅니다.
• 최종 모델인 AutoRNN는 복잡성과 크기를 동적으로 조절할 수 있어, 다양한 계산 능력을 가진 기기에서도 배포가 가능하다.

실험 결과

연구 질문

• RQ1 수작업으로 설계된 모델보다 신경망 아키텍처 탐색이 더 나은 RNN 기반 디코더 아키텍처를 자동으로 발견할 수 있는가?
• RQ2 파라미터 공유를 사용하는 강화 학습은 순차적 생성 작업에서 NAS의 효율성과 효과성을 어떻게 향상시키는가?
• RQ3 검색 과정 중에 CIDEr와 같은 성능 지표를 통합할 경우, 손실 기반 피드백만 사용하는 것과 비교해 더 나은 성능을 내는 아키텍처를 도출할 수 있는가?
• RQ4 자동으로 탐색된 모델은 표준 Transformer 및 LSTM 모델보다 더 높은 성능을 내면서도 더 작은 모델 크기를 유지할 수 있는가?
• RQ5 아키텍처의 복잡성(예: 블록 수)이 이미지 캡션 벤치마크에서 성능에 얼마나 영향을 미치는가?

주요 결과

• 6개 블록을 사용할 경우 AutoCaption 모델은 CIDEr 점수 95.9%를 기록하여 기준 모델인 Show-Attend-Tell(93.4%)과 X-Linear 벤치마크(95.0%)를 모두 뛰어넘었다.
• 6개 블록을 가진 모델가 최고의 성능을 보였으며, 이는 더 작은 아키텍처가 MSCOCO 데이터셋에서 더 잘 일반화될 수 있음을 시사한다. 이는 과적합이 감소하기 때문일 수 있다.
• 학습 중에 CIDEr 기반 평가를 사용함으로써 모델 성능이 향상되었으며, 손실 기반 학습에 비해 CIDEr 점수는 1.5점 향상되었다.
• AutoRNN-6 모델은 총 14.0M 파라미터와 3.5M 학습 가능한 파라미터를 가지며, Transformer(168.4M 파라미터)보다 훨씬 작지만 성능는 뛰어나다.
• AutoRNN-6 모델은 B@4 점수 29.3%를 기록하여 Show-Attend-Tell 기준 모델(28.2%)을 초월했으며, 더 나은 유창성과 정확도를 보였다.
• 이 방법은 모델 크기 제어가 가능하여 자원 제약이 있는 기기에도 배포가 가능하며, AutoRNN 모델은 표준 LSTMs와 비교해 약간 더 크기만 하다.