[논문 리뷰] Text2Scene: Generating Compositional Scenes from Textual Descriptions

Fuwen Tan, Song Feng외 1명|arXiv (Cornell University)|2018. 09. 04.

Multimodal Machine Learning Applications참고 문헌 49인용 수 12

한 줄 요약

Text2Scene는 자연어 설명으로부터 구성적 장면 표현을 생성하기 위해 텍스트와 장면 상태에 대한 교차 어텐션을 사용하여 객체와 그 속성을 반복적으로 예측하는 GAN이 아닌, 순서에서 순서로의 프레임워크를 제안한다. 이는 추상적 장면, 객체 레이아웃, 합성 이미지 복합체에서 인간 평가에서 최고 성능을 기록하고 자동 평가 지표에서 거의 최고 수준에 도달하며, 해석 가능하고 분리된 생성을 가능하게 한다.

ABSTRACT

In this paper, we propose Text2Scene, a model that generates various forms of compositional scene representations from natural language descriptions. Unlike recent works, our method does NOT use Generative Adversarial Networks (GANs). Text2Scene instead learns to sequentially generate objects and their attributes (location, size, appearance, etc) at every time step by attending to different parts of the input text and the current status of the generated scene. We show that under minor modifications, the proposed framework can handle the generation of different forms of scene representations, including cartoon-like scenes, object layouts corresponding to real images, and synthetic images. Our method is not only competitive when compared with state-of-the-art GAN-based methods using automatic metrics and superior based on human judgments but also has the advantage of producing interpretable results.

연구 동기 및 목표

• 자연어로부터 다양한 장면 표현을 통합적이고 해석 가능한 프레임워크로 개발하기 위해.
• 일반적으로 해석 불가능한 결과를 내는 GAN에 의존하지 않고 구성적 장면 생성의 과제를 해결하기 위해.
• 공간 관계, 간접적 속성 참조, 객체 간 의존성과 같은 복잡한 언어적 신호를 처리하기 위해.
• 단일 아키텍처를 사용하여 약간의 수정만으로 추상적 장면, 의미적 객체 레이아웃, 합성 이미지 복합체를 생성할 수 있도록 하기 위해.
• 어텐션 메커니즘을 단계별로 객체와 속성 예측을 모델링하여 텍스트에서 장면으로의 생성에서의 해석 가능성과 분리도를 향상시키기 위해.

제안 방법

• 입력 문장의 잠재 표현을 생성하기 위해 텍스트 인코더를 사용하는 순서에서 순서로 아키텍처를 사용한다.
• 각 시간 단계에서 생성된 장면 캔버스의 현재 상태를 인코딩하기 위해 이미지 인코더를 활용한다.
• 생성 과정 전반에 걸친 장면 역사에 대한 공간적 및 시간적 기억을 유지하기 위해 컨볼루션 순환 모듈을 적용한다.
• 두 가지 교차 어텐션 메커니즘을 사용한다: 하나는 객체 예측을 위해 관련된 텍스트 부분에 주의를 기울이고, 다른 하나는 속성 예측(예: 위치, 크기, 자세)을 위해 사용한다.
• 합성 이미지 생성을 위해 선택적 프론트엔드 임베딩 모듈을 통합하여 의미적 맥락 기반의 패치 수준 검색을 가능하게 한다.
• 객체, 위치, 자세, 표현, 크기, 종횡비, 외관 속성에 대해 학습 가능한 가중치를 가진 다성분 손실 함수를 사용하여 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 GAN이 아닌 어텐션 기반의 순서에서 순서로 모델은 자연어 설명으로부터 다양한 구성적 장면을 생성할 수 있는가?
• RQ2 이러한 모델은 간접적인 언어적 신호(예: 얼굴 속성의 암시를 포함한 정서 표현)와 공간적 의존성(예: '달리며 향하는')을 얼마나 잘 처리할 수 있는가?
• RQ3 통합된 프레임워크가 추상적 장면, 실제 객체 레이아웃, 합성 이미지 복합체에 얼마나 일반화될 수 있는가?
• RQ4 GAN이 없는 것이 최고 수준의 GAN 기반 방법에 비해 장면 생성의 해석 가능성과 분리도를 향상시키는가?
• RQ5 다양한 장면 유형에서 자동 평가 지표와 인간 평가 모두에서 이 모델의 성능은 최고 수준의 방법과 비교해 어떻게 되는가?

주요 결과

• Abstract Scenes 데이터셋에서 인간 평가에서 가장 잘 보고된 결과를 초월하여 입력 설명과의 정렬도가 뛰어나다는 것을 입증했다.
• COCO 데이터셋에서 레이아웃 및 합성 이미지 생성 작업 모두에서 자동 평가 지표에서 거의 최고 성능을 기록했다.
• 인간 평가 결과, SG2IM, HDGAN, AttnGAN과 같은 최고 수준의 GAN 기반 모델보다 Text2Scene가 더 정확하고 자연스러운 장면을 생성함을 확인했으며, 특히 복잡한 공간적 및 의미적 관계를 잘 포착하는 데서 두드러졌다.
• 정성적 결과에서 모델는 반복적이지 않은 다양한 장면을 생성하면서도 입력 설명과 일치함을 보여주어 암기 초월한 강력한 일반화 능력을 보였다.
• 모델의 어텐션 메커니즘은 명확히 의미적으로 관련된 단어들(예: 'Mike'과 'holding'을 고려할 때 핫도그를 놓을 때)에 주의를 기울이며, 해석 가능성과 언어적 기반을 입증했다.
• 합성 이미지 생성에서 모델는 맥락적으로 적절한 이미지 패치를 성공적으로 검색하여 간단한 레이아웃 일치를 넘어서 의미적 이해를 습득했다는 것을 보여주었다.