[논문 리뷰] RATT: Recurrent Attention to Transient Tasks for Continual Image Captioning

Riccardo Del Chiaro, Bartłomiej Twardowski외 2명|arXiv (Cornell University)|2020. 07. 13.

Multimodal Machine Learning Applications참고 문헌 27인용 수 25

한 줄 요약

이 논문은 LSTM 기반 이미지 캡셔닝을 위한 새로운 지속적 학습 프레임워크인 RATT(Recurrent Attention to Transient Tasks)를 제안한다. 이 프레임워크는 작업별 어휘의 일시적 성격을 명시적으로 모델링한다. 작업별 주의 막대를 적용하고 정규화 및 소양 방법을 순환 아키텍처에 적응시킴으로써, RATT는 MS-COCO와 Flickr30k에서 다섯 개의 순차적 캡셔닝 작업 전반에 걸쳐 치명적인 기억 상실이 없는 성과를 달성하며, 자동 평가와 인간 평가 모두에서 EWC 및 LwF 기준선을 능가한다.

ABSTRACT

Research on continual learning has led to a variety of approaches to mitigating catastrophic forgetting in feed-forward classification networks. Until now surprisingly little attention has been focused on continual learning of recurrent models applied to problems like image captioning. In this paper we take a systematic look at continual learning of LSTM-based models for image captioning. We propose an attention-based approach that explicitly accommodates the transient nature of vocabularies in continual image captioning tasks -- i.e. that task vocabularies are not disjoint. We call our method Recurrent Attention to Transient Tasks (RATT), and also show how to adapt continual learning approaches based on weight egularization and knowledge distillation to recurrent continual learning problems. We apply our approaches to incremental image captioning problem on two new continual learning benchmarks we define using the MS-COCO and Flickr30 datasets. Our results demonstrate that RATT is able to sequentially learn five captioning tasks while incurring no forgetting of previously learned ones.

연구 동기 및 목표

• 순차적 작업 학습 동안 순환 이미지 캡셔닝 모델에서 치명적인 기억 상실을 해결하기 위해.
• 지속적 이미지 캡셔닝에서 어휘의 일시적 성격을 모델링하기 위해, 여러 작업 간에 반복되는 단어들이 존재함을 고려하여.
• 기존의 지속적 학습 기법—예를 들어 EWC와 LwF—을 순환 LSTM 아키텍처에 적응시켜 순차적 생성 작업에 적용하기 위해.
• 작업 분할 전략을 사용하여 MS-COCO와 Flickr30k 데이터셋을 기반으로 지속적 이미지 캡셔닝의 새로운 벤치마크를 설정하기 위해.
• 자동 평가 지표와 인간 평가를 통해 RATT의 효과성을 다수의 작업에 걸쳐 평가하기 위해.

제안 방법

• 학습 중에 관련 어휘 구성 요소에만 집중할 수 있도록 설계된 작업별 주의 막대 메커니즘을 제안하여, 작업별 어휘의 일시적 성격을 반영한다.
• 숨은 상태 기울기의 피셔 정보를 계산하여 순환 네트워크에 EWC(Elastic Weight Consolidation)를 적응시키며 중요한 파라미터를 정규화한다.
• RNN에 대해 지식 소양(LwF)을 수정하여, 다양한 작업 간에 은닉 상태와 출력 확률에 소양 손실을 적용한다.
• MS-COCO와 Flickr30k를 다섯 개의 순차적이고 겹치는 어휘 작업(예: 스포츠, 웨딩, 뉴스 등)으로 분할하여 두 가지 새로운 지속적 학습 벤치마크를 설계한다.
• 표준 인코더-디코더 아키텍처를 사용하며, 이미지 인코더로 ResNet-101을, 캡셔닝 생성을 위한 LSTM 디코더를 사용한다.
• 추론 및 학습 중에 현재 작업 식별자를 조건으로 주의 메커니즘에 적용할 수 있는 학습 가능한 작업 임베딩을 도입한다.

실험 결과

연구 질문

• RQ1 작업 어휘가 일시적이고 겹치는 경우, 순환 주의 메커니즘이 이미지 캡셔닝에서 치명적인 기억 상실을 효과적으로 완화할 수 있는가?
• RQ2 EWC와 LwF와 같은 표준 지속적 학습 방법이 순환 LSTM 기반 이미지 캡셔닝 모델에 적응되었을 때 성능은 어떠한가?
• RQ3 새로운 작업을 학습할 때 RATT는 기존에 학습된 작업의 성능을 얼마나 잘 유지하는가? 기준선 대비 어떤가?
• RQ4 이미지 캡셔닝 작업의 일시적 어휘 구조는 분리된 클래스 설정과는 본질적으로 다른 지속적 학습 접근이 필요하게 하는가?
• RQ5 인간 평가를 통해 RATT가 생성한 캡셔닝이 기준선 모델 대비 의미 정확도와 관련성 면에서 뛰어나다는 것을 확인할 수 있는가?

주요 결과

• RATT는 MS-COCO와 Flickr30k 양쪽에서 다섯 개의 순차적 캡셔닝 작업 전반에 걸쳐 치명적인 기억 상실이 없으며, 이전 작업에서 성능 저하가 발생하지 않는다.
• MS-COCO에서 RATT는 인간 평가에서 EWC와 LwF를 모두 능가하며, 사용자 중 75.0%에서 85.0%가 RATT 캡셔닝을 EWC보다 선호하고, 77.5%에서 82.5%가 RATT를 LwF보다 선호한다.
• Flickr30k에서 RATT는 EWC에 비해 61.8%에서 76.4%의 인간 선호도를 기록하고, LwF에 비해 45.5%에서 69.1%의 선호도를 기록하여 일관된 우월성을 확인한다.
• 자동 평가 결과, RATT는 모든 작업에서 높은 BLEU, ROUGE, CIDEr 점수를 유지하며 최소한의 기억 상실(예: MS-COCO에서 CIDEr 점수 -1.5, Flickr30k에서 0.0)을 보인다.
• 제거 실험 결과, 작업별 주의 막대가 필수적임을 확인하였으며, 이를 제거할 경우 심각한 기억 상실이 발생한다.
• 치명적인 기억 상실이 없음에도 불구하고, RATT는 제한된 유연성과 후행 전이 성능를 보이며, 새로운 지식으로 인해 이전 작업의 성능이 향상되지 않는다.