[논문 리뷰] ParaCNN: Visual Paragraph Generation via Adversarial Twin Contextual CNNs

Shiyang Yan, Hua Yang외 1명|arXiv (Cornell University)|2020. 04. 21.

Multimodal Machine Learning Applications참고 문헌 34인용 수 7

한 줄 요약

이 논문은 문장 간의 맥락 모델링을 통해 장문의 일관된 단락을 생성하는 순수 컨volutional 신경망인 ParaCNN를 제안한다. 계층적 CNN 아키텍처를 사용하며, 적대적 트윈 네트워크 학습 방식을 도입하여 전진 및 역방향 특징 일致성을 강제함으로써 Stanford Visual Paragraph 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하여 이전의 RNN 기반 모델보다 품질과 생성 유연성 측면에서 뛰어난 성능을 보였다.

ABSTRACT

Image description generation plays an important role in many real-world applications, such as image retrieval, automatic navigation, and disabled people support. A well-developed task of image description generation is image captioning, which usually generates a short captioning sentence and thus neglects many of fine-grained properties, e.g., the information of subtle objects and their relationships. In this paper, we study the visual paragraph generation, which can describe the image with a long paragraph containing rich details. Previous research often generates the paragraph via a hierarchical Recurrent Neural Network (RNN)-like model, which has complex memorising, forgetting and coupling mechanism. Instead, we propose a novel pure CNN model, ParaCNN, to generate visual paragraph using hierarchical CNN architecture with contextual information between sentences within one paragraph. The ParaCNN can generate an arbitrary length of a paragraph, which is more applicable in many real-world applications. Furthermore, to enable the ParaCNN to model paragraph comprehensively, we also propose an adversarial twin net training scheme. During training, we force the forwarding network's hidden features to be close to that of the backwards network by using adversarial training. During testing, we only use the forwarding network, which already includes the knowledge of the backwards network, to generate a paragraph. We conduct extensive experiments on the Stanford Visual Paragraph dataset and achieve state-of-the-art performance.

연구 동기 및 목표

• 세부 시각적 세부 정보와 관계를 포괄하지 못하는 짧은 이미지 캡션의 한계를 해결하기 위해.
• 비순차적 처리의 병목 현상과 RNN 기반 계층 모델의 복잡한 메모리 메커니즘을 극복하기 위해.
• 변동 길이의 단락을 강력한 일관성으로 생성할 수 있는 유연한 순수 CNN 기반 아키텍처를 개발하기 위해.
• 적대적 트윈 네트워크 학습을 통해 장거리 종속성 모델링 및 맥락 일관성 향상을 위해.
• 순환 구조에 비해 더 효과적이고 효율적인 시퀀스 모델링을 위해 시각적 단락 생성에 적용하기 위해.

제안 방법

• ParaCNN는 주제 컨볼루션을 통해 시각적 주제를 추출하고, 단어 컨볼루션을 통해 문장 시퀀스를 생성하는 계층적 CNN 아키텍처를 사용한다.
• 이전에 생성된 문장의 맥락 특징을 시각적 주제와 융합하여 문장 간 일관성을 확보한다.
• 적대적 트윈 네트워크 학습 방식을 도입하여, 전진 네트워크가 적대적 손실을 통해 역방향 네트워크의 은닉 특징에 가까워지도록 학습한다.
• 추론 과정에서는 전진 네트워크만 사용되며, 이는 적대적 학습을 통해 은밀히 역방향 맥락을 학습한 상태이다.
• 특징 품질과 다양성을 향상시키기 위해 평균 풀링, 자기 주의 풀링, 표현 페널티 샘플링을 사용한다.
• 학습 목표는 L2 손실과 적대적 손실을 조합하여 생성된 단락의 유창성과 사실 일관성을 향상시킨다.

실험 결과

연구 질문

• RQ1 순수 CNN 아키텍처가 높은 일관성과 세부 정보를 갖춘 장문의 시각적 단락 생성을 효과적으로 모델링할 수 있는가?
• RQ2 적대적 트윈 네트워크 학습 방식이 시각적 단락 생성에서 장거리 종속성을 어떻게 향상시키는가?
• RQ3 CNN 기반 접근 방식이 다채롭고 맥락적으로 일관된 단락 생성에서 계층적 RNN보다 우수한가?
• RQ4 트윈 네트워크 방식이 과거 맥락을 요약하여 향후 단어 생성에 효과적으로 활용하는 데 모델의 능력을 얼마나 향상시키는가?
• RQ5 제안된 방법이 인간이 애너테이션한 참값보다 더 세밀한 세부 정보와 미묘한 물체 간 관계를 생성할 수 있는가?

주요 결과

• ParaCNN는 트윈 네트워크와 표현 페널티 샘플링을 사용하여 Stanford Visual Paragraph 데이터셋에서 최신 기술 수준 성능을 달성했으며, BLEU-4 점수는 43.3, CIDEr 점수는 20.6을 기록했다.
• 적대적 트윈 네트워크 학습 방식이 생성 품질을 크게 향상시켜 기준 모델인 ParaCNN 대비 CIDEr 점수를 3.1점 향상시켰다.
• 모델는 더 세밀한 세부 정보와 새로운 개념의 미묘한 물체 및 그 관계를 생성했으며, 일부 사례에서는 인간 애너테이션 기준값을 초월하기도 했다.
• ParaCNN는 계층적 RNN 기반 모델보다 수렴 속도가 빠르며, BLEU, ROUGE, CIDEr 등 모든 평가 지표에서 뛰어난 성능을 보였다.
• L2 손실과 적대적 트윈 학습의 조합이 가장 우수한 결과를 냈으며, 이는 이중 최적화 전략의 효과성을 확인시켰다.
• 시각화 결과는 트윈 네트워크 방식이 표준 ParaCNN 기준 모델보다 더 세밀하고 일관성 있고 맥락적으로 정확한 단락을 생성함을 확인했다.