[논문 리뷰] Regularizing RNNs for Caption Generation by Reconstructing The Past with The Present

Xinpeng Chen, Lin Ma외 3명|arXiv (Cornell University)|2018. 03. 30.

Multimodal Machine Learning Applications참고 문헌 37인용 수 27

한 줄 요약

이 논문은 시퀀스 모델링을 향상시키기 위해 과거의 은닉 상태를 현재 상태에서 재구성함으로써 RNN 정규화 방법인 Auto-Reconstructor Network(ARNet)을 제안한다. 시간적 의존성을 강화하고 학습-추론 불일치를 감소시킴으로써, 이미지 캡션 생성, 코드 캡션 생성, 그리고 순서가 뒤집힌 MNIST와 같은 장기 시퀀스 작업에서 SOTA 성능을 달성하며, BLEU-4 향상 폭이 크고 장기 의존성 학습 능력이 향상된다.

ABSTRACT

Recently, caption generation with an encoder-decoder framework has been extensively studied and applied in different domains, such as image captioning, code captioning, and so on. In this paper, we propose a novel architecture, namely Auto-Reconstructor Network (ARNet), which, coupling with the conventional encoder-decoder framework, works in an end-to-end fashion to generate captions. ARNet aims at reconstructing the previous hidden state with the present one, besides behaving as the input-dependent transition operator. Therefore, ARNet encourages the current hidden state to embed more information from the previous one, which can help regularize the transition dynamics of recurrent neural networks (RNNs). Extensive experimental results show that our proposed ARNet boosts the performance over the existing encoder-decoder models on both image captioning and source code captioning tasks. Additionally, ARNet remarkably reduces the discrepancy between training and inference processes for caption generation. Furthermore, the performance on permuted sequential MNIST demonstrates that ARNet can effectively regularize RNN, especially on modeling long-term dependencies. Our code is available at: https://github.com/chenxinpeng/ARNet

연구 동기 및 목표

• 학습-추론 불일치로 인한 노출 편향과 RNN 기반 캡션 생성의 열악한 일반화 문제를 해결하기 위해.
• 특히 장거리 의존성이 있는 순차적 작업에서 장기 의존성 모델링을 향상시키기 위해.
• 이웃하는 은닉 상태를 재구성 기반 메커니즘을 통해 명시적으로 연결함으로써 RNN 전이 동역학을 정규화하기 위해.
• 기본 인코더-디코더 아키텍처를 수정하지 않고도 다양한 캡션 작업(이미지 및 소스 코드 캡션 생성 포함)의 성능을 향상시키기 위해.
• 기존 RNN 기반 캡션 프레임워크에 쉽게 통합할 수 있는 단순하고 엔드 투 엔드로 학습 가능한 모듈을 제공하기 위해.

제안 방법

• ARNet는 주 디코더 RNN의 현재 은닉 상태 $h_t$ 를 사용해 이전 은닉 상태 $h_{t-1}$ 를 재구성하는 별도의 LSTM 네트워크이다.
• 재구성 손실은 학습 중 최소화되며, 이는 $h_t$ 가 $h_{t-1}$ 에서 온 정보를 유지하고 인코딩하도록 유도함으로써 RNN 전이 동역학을 정규화한다.
• ARNet는 주 인코더-디코더 프레임워크와 함께 엔드 투 엔드로 학습되며, 캡션 생성을 위한 표준 크로스 엔트로피 손실에 재구성 손실이 추가된다.
• 이 아키텍처는 어텐션 메커니즘과 호환되며, 이미지 및 코드 캡션 생성 작업에 모두 적용 가능하다.
• 표준 벤치마크(예: MS-COCO, HabeasCorpus, 순서가 뒤집힌 순차적 MNIST)와 표준 메트릭(예: BLEU-4, 테스트 정확도)을 사용해 평가된다.
• 순서가 뒤집힌 MNIST에서는 이중 단계 학습 전략을 사용한다: 먼저 인코더 LSTM을 사전 학습하고, 이후 인코더와 ARNet을 함께 미세 조정한다.

실험 결과

연구 질문

• RQ1 현재 상태에서 과거 은닉 상태를 재구성하는 것이 RNN 기반 캡션 생성 성능을 향상시키는가?
• RQ2 ARNet는 RNN의 시퀀스 생성에서 학습과 추론 간 불일치를 효과적으로 감소시키는가?
• RQ3 ARNet는 순차적 데이터에서 장기 의존성을 모델링하는 데 효과적인가, 특히 순서가 뒤집힌 MNIST와 같은 도전적인 작업에서?
• RQ4 ARNet는 zoneout 및 재귀 드롭아웃과 같은 기존 정규화 기법들과 비교해 일반화 및 내성에 있어 우수한가?
• RQ5 ARNet는 이미지 및 소스 코드와 같은 다양한 모odal에서 캡션 생성 작업에서 성능을 향상시키는가?

주요 결과

• HabeasCorpus 코드 캡션 데이터셋에서 ARNet는 베이스라인 모델 대비 BLEU-4에서 36.36%의 상대적 향상을 기록했으며, 스케줄드 샘플링 및 zoneout보다 뚜렷하게 뛰어난 성능을 보였다.
• 어텐션 기반 ARNet 버전이 아닌 경우 BLEU-4에서 23.40%의 상대적 향상을 기록하여, 어텐션 메커니즘 없이도 효과적임을 입증했다.
• ARNet는 평균 중심 거리($d_{\text{mc}}$)를 0.643에서 0.641로, 포인트 와이즈 거리($d_{\text{pw}}$)를 0.722에서 0.699로 감소시켜 학습-추론 불일치를 감소시켰음을 나타냈다.
• 순서가 뒤집힌 순차적 MNIST 작업에서 ARNet는 93.3%의 테스트 정확도를 기록했으며, 재귀 드롭아웃(92.5%)과 zoneout(93.1%)를 모두 뛰어넘어 장기 의존성 모델링 능력이 뛰어남을 증명했다.
• 어텐션 기반 ARNet 버전은 $d_{\text{mc}}$ 를 0.322로, $d_{\text{pw}}$ 를 0.465로 감소시켜 복잡한 모델에서 노출 편향을 강력하게 완화함을 보였다.
• ARNet는 다양한 벤치마크에서 일관되게 성능 향상을 보였으며, 이는 시각 및 코드 캡션 생성 작업 전반에서 일반화 가능성과 효과성을 확인시켰다.