[논문 리뷰] Convolutional Auto-encoding of Sentence Topics for Image Paragraph Generation

Jing Wang, Yingwei Pan외 3명|arXiv (Cornell University)|2019. 08. 01.

Multimodal Machine Learning Applications참고 문헌 26인용 수 12

한 줄 요약

이 논문은 이미지 영역 특징에서 종합적이고 대표적인 주제를 추출하기 위해 복소 자동 인코딩을 사용하는 새로운 프레임워크인 CAE-LSTM을 제안한다. 이는 이미지 문단 생성의 향상을 위해 LSTM 기반 주제 모델링을 복소 인코더-디코더 구조로 대체하고, 이러한 주제를 주의 메커니즘과 커버리지 기반 자기 비판 학습을 갖춘 이중 레벨 LSTM에 통합한다. CAE-LSTM은 SOTA 성능을 달성하여 스탠포드 이미지 문단 데이터셋에서 CIDEr 점수를 20.93%에서 25.15%로 향상시켰다.

ABSTRACT

Image paragraph generation is the task of producing a coherent story (usually a paragraph) that describes the visual content of an image. The problem nevertheless is not trivial especially when there are multiple descriptive and diverse gists to be considered for paragraph generation, which often happens in real images. A valid question is how to encapsulate such gists/topics that are worthy of mention from an image, and then describe the image from one topic to another but holistically with a coherent structure. In this paper, we present a new design --- Convolutional Auto-Encoding (CAE) that purely employs convolutional and deconvolutional auto-encoding framework for topic modeling on the region-level features of an image. Furthermore, we propose an architecture, namely CAE plus Long Short-Term Memory (dubbed as CAE-LSTM), that novelly integrates the learnt topics in support of paragraph generation. Technically, CAE-LSTM capitalizes on a two-level LSTM-based paragraph generation framework with attention mechanism. The paragraph-level LSTM captures the inter-sentence dependency in a paragraph, while sentence-level LSTM is to generate one sentence which is conditioned on each learnt topic. Extensive experiments are conducted on Stanford image paragraph dataset, and superior results are reported when comparing to state-of-the-art approaches. More remarkably, CAE-LSTM increases CIDEr performance from 20.93% to 25.15%.

연구 동기 및 목표

• 복잡한 이미지에서 다수의 다양하고 다양한 시각적 핵심 주제를 식별하고 조직하여 일관성 있는 문단 생성을 위한 과제를 해결한다.
• 이미지 영역 간의 공간적 관계를 활용하지 못하는 RNN 기반 주제 모델링의 한계를 극복한다.
• 순수한 복소 자동 인코딩 프레임워크를 사용하여 영역 수준의 특징에서 대표적이고 종합적인 주제를 추출하는 방법을 개발한다.
• 학습된 주제를 계층적 LSTM 아키텍처에 통합하여 생성된 문단의 문장 간 일관성과 전반적인 객체 커버리지를 보장한다.
• 커버리지 기반 보상 구조를 활용한 자기 비판 학습을 통해 문단 품질을 향상시킨다.

제안 방법

• 입력 이미지에서 주목할 만한 영역 수준의 특징을 추출하기 위해 Faster R-CNN을 사용하여 주제 모델링 모듈의 입력으로 활용한다.
• RNN 기반 인코딩을 대체하기 위해 영역 수준의 특징에 대해 컨볼루션을 적용하여 이미지 주제를 추상화하는 복소 인코더를 사용한다.
• 재구성 손실을 통해 높은 품질의 표현을 강제하기 위해, 추출된 주제에서 영역 수준의 특징을 재구성하기 위한 디컨볼루션 디코더를 구현한다.
• 평균 풀링을 통해 영역 수준의 특징을 융합하여 문단 생성을 위한 전반적인 이미지 표현을 형성한다.
• 이중 레벨 LSTM 아키텍처를 활용한다: 문단 수준의 LSTM은 문장 간 의존성을 모델링하고, 문장 수준의 LSTM은 각 학습된 주제에 조건부로 단어를 생성한다.
• 자기 비판 학습에 커버리지 보상을 통합하여 전반적인 객체 커버리지를 장려하고 생성된 문장의 반복을 줄인다.

실험 결과

연구 질문

• RQ1 RNN 기반 방법에 비해 복소 자동 인코딩 프레임워크가 이미지 영역에서 종합적이고 대표적인 주제를 더 잘 포착할 수 있는가?
• RQ2 복소 자동 인코딩을 통한 주제 모델링은 이미지 캡션에서 생성된 문단의 일관성과 다양성에 어떤 영향을 미치는가?
• RQ3 주제 인식 생성을 계층적 LSTM과 커버리지 기반 학습과 통합할 경우, 문단 품질과 커버리지가 얼마나 향상되는가?
• RQ4 제안된 CAE-LSTM 프레임워크는 표준 벤치마크에서 기존의 SOTA 방법을 초월할 수 있는가?
• RQ5 개별 구성 요소(예: 복소 인코딩, 재구성 손실, 커버리지 보상)의 아블레이션 분석이 전체 성능에 어떤 영향을 미치는가?

주요 결과

• CAE-LSTM는 스탠포드 이미지 문단 데이터셋에서 SOTA CIDEr 점수 25.15를 기록하여 이전 SOTA인 20.93에 비해 상당한 향상을 이뤘다.
• 아블레이션 연구는 LSTM 기반 주제 모델링을 복소 인코딩(CE)으로 대체할 경우 성능 향상이 이루어지며, 공간에 민감한 주제 추상화의 우수성을 입증한다.
• CAE 모듈에 재구성 손실(RL)을 추가하면 성능이 추가로 향상되며, 이는 고정밀 재구성의 품질 향상이 주제의 대표성을 강화함을 시사한다.
• 자기 비판 학습에 커버리지 보상(SC)을 통합하면 성능 향상이 더 커지며, 더 포괄적이고 반복이 적은 문단 생성이 가능하다.
• Turing 테스트를 통한 인간 평가 결과, CAE-LSTM이 생성한 문단 중 39.8%가 인간이 작성한 문단과 구별되지 않으며, 이는 LSTM-ATT(14.7%)를 크게 능가하고 인간 수준 성능(88.5%)에 가까워졌다.
• 정성적 결과 분석을 통해 CAE-LSTM은 반복적인 표현(예: "테니스 라켓을 들고 있는")을 애초에 피하는 등 더 일관성 있고 다양한 문단을 생성함을 확인했다.