[논문 리뷰] Semantic Regularisation for Recurrent Image Annotation

Feng Liu, Tao Xiang외 3명|arXiv (Cornell University)|2016. 11. 16.

Multimodal Machine Learning Applications인용 수 8

한 줄 요약

이 논문은 CNN의 예측된 시맨틱 개념을 CNN과 RNN 사이의 이미지 임베딩 인터페이스로 사용하여 순환적 이미지 애너테이션에 대해 의미적 정규화를 제안한다. 이는 레이블 예측과 상관관계 모델링을 분리함으로써 더 빠르고 안정적인 엔드 투 엔드 훈련을 가능하게 하며, 앙상블 모델이나 보조 데이터 없이도 다중 레이블 분류와 이미지 캡션에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

The "CNN-RNN" design pattern is increasingly widely applied in a variety of image annotation tasks including multi-label classification and captioning. Existing models use the weakly semantic CNN hidden layer or its transform as the image embedding that provides the interface between the CNN and RNN. This leaves the RNN overstretched with two jobs: predicting the visual concepts and modelling their correlations for generating structured annotation output. Importantly this makes the end-to-end training of the CNN and RNN slow and ineffective due to the difficulty of back propagating gradients through the RNN to train the CNN. We propose a simple modification to the design pattern that makes learning more effective and efficient. Specifically, we propose to use a semantically regularised embedding layer as the interface between the CNN and RNN. Regularising the interface can partially or completely decouple the learning problems, allowing each to be more effectively trained and jointly training much more efficient. Extensive experiments show that state-of-the art performance is achieved on multi-label classification as well as image captioning.

연구 동기 및 목표

• 이미지 애너테이션을 위한 CNN-RNN 모델에서 느리고 불안정한 엔드 투 엔드 훈련 문제를 해결하기 위해.
• 시각적 개념 예측과 그들의 상관관계 모델링이라는 이중 부담을 줄이기 위해 의미적으로 의미 있는 인터페이스 레이어를 도입함으로써 RNN의 부담을 분리하기 위해.
• CNN의 예측 레이어에 대한 의미적 정규화를 통한 깊은 감독을 통해 기울기 안정성과 특징 학습 향상을 도모함으로써 훈련 안정성과 수렴 속도를 향상시키기 위해.
• 모델 앙상블나 보조 훈련 데이터 없이도 이미지 캡션과 다중 레이블 분류에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• CNN과 RNN 사이의 인터페이스로 의미적으로 정규화된 임베딩 레이어를 도입하며, 이미지 임베딩으로서 원시 특징이 아닌 CNN의 예측된 시맨틱 개념을 사용한다.
• CNN이 시각적 개념을 동시에 예측(의미적 감독)하고 이미지 표현을 인코딩하도록 다중 작업 학습을 수행한다.
• RNN의 초기 은닉 상태 입력으로서 CNN의 최종 예측 레이어 출력(특징 맵이 아닌)을 사용하여 의미적인 유의미성을 보장한다.
• CNN이 직접 정답 레이블을 예측하도록 깊은 감독을 적용함으로써 기울기 안정성과 특징 학습 향상을 향상시킨다.
• RNN과 정규화된 CNN를 모두 통해 역전파를 수행하여 엔드 투 엔드로 전체 모델을 훈련시키며, 이로 인해 수렴 속도가 향상된다.
• CNN 기반 모델로 Inception-V3를, RNN로 LSTM을 사용하며, 모델 앙상블이나 외부 캡션 데이터를 사용하지 않는다.

실험 결과

연구 질문

• RQ1 CNN의 예측 레이어에 대한 의미적 정규화가 CNN-RNN 이미지 애너테이션 모델의 훈련 효율성과 성능 향상에 기여하는가?
• RQ2 CNN의 예측된 시맨틱 개념을 이미지 임베딩 인터페이스로 사용함으로써 RNN의 부담을 줄이고 구조적 예측 성능를 향상시키는가?
• RQ3 의미적 정규화를 통한 깊은 감독은 전통적인 특징 기반 인터페이스에 비해 수렴 속도와 최종 성능 측면에서 어떻게 비교되는가?
• RQ4 의미적 정규화를 적용한 단일 모델 아키텍처가 이미지 캡션 벤치마크에서 앙상블 기반 모델을 능가할 수 있는가?

주요 결과

• 제안된 모델은 MS-COCO에서 최신 기술 수준의 성능을 달성하였으며, CIDEr, METEOR, ROUGE, B-4를 포함한 14개 평가 지표 전반에서 다섯 개의 강력한 베이스라인을 초월하였다.
• COCO 검증 세트에서 모델은 CIDEr 점수 1.054를 기록하였으며, 베이스라인 NIC-F 모델(0.932) 대비 7% 향상되어 의미적 정규화의 핵심적 역할을 입증하였다.
• 단일 Titan X GPU에서 단 두 날 만에 수렴하였으며, NICv2의 앙상블 멤버당 20일 이상 소요되는 것과 비교해 훨씬 빠른 훈련 효율성을 보였다.
• 모델 앙성보나 보조 데이터 없이도 공식 MS-COCO 평가 서버에서 39개의 제출 중 5위를 기록하여 강력한 일반화 능력과 견고함을 입증하였다.
• 제거 실험 결과 의미적 정규화가 성능 향상에 크게 기여하며, CIDEr 기준으로 NIC-F와 전체 모델 간의 격차가 7%에 이르며, 예측 레이어를 임베딩으로 사용하는 것이 최적 성능 달성에 필수적임을 확인하였다.