[논문 리뷰] Interactive Image Manipulation with Natural Language Instruction Commands

Seitaro Shinagawa, Koichiro Yoshino외 3명|arXiv (Cornell University)|2018. 02. 23.

Multimodal Machine Learning Applications참고 문헌 15인용 수 11

한 줄 요약

이 논문은 원본 이미지와 자연어 지시문을 통해 원하는 변경 사항을 기반으로 목표 이미지를 생성하는 상호작용형 이미지 편집 시스템을 제안한다. 이미지와 언어를 공유 잠재 공간에 모델링하고, 피드포워드 레이어를 통한 선형 변환을 사용함으로써, 지정된 이미지에 높은 구조적 유사도(SSI)를 가지는 제어 가능한 지시어 조건부 이미지 편집이 가능해진다.

ABSTRACT

We propose an interactive image-manipulation system with natural language instruction, which can generate a target image from a source image and an instruction that describes the difference between the source and the target image. The system makes it possible to modify a generated image interactively and make natural language conditioned image generation more controllable. We construct a neural network that handles image vectors in latent space to transform the source vector to the target vector by using the vector of instruction. The experimental results indicate that the proposed framework successfully generates the target image by using a source image and an instruction on manipulation in our dataset.

연구 동기 및 목표

• 일방적인 텍스트-이미지 생성의 한계를 해결하기 위해 반복적이고 제어 가능한 이미지 편집을 가능하게 한다.
• 전체 이미지를 다시 설명하는 대신 원본과 목표 이미지 간의 차이에만 집중함으로써 사용자의 인지 부담을 줄인다.
• 자연어 지시문이 이미지와 함께 공유 잠재 공간에 임bedded될 수 있는지 탐색하여 선형적이고 덧셈형 이미지 변환을 가능하게 한다.
• 모델이 미리 보지 않은 작업에 일반화하고 '이동', '확장', '압축', '삭제'와 같은 의미적 개념을 학습할 수 있는지 평가한다.

제안 방법

• 프레임워크는 원본 이미지에서 잠재 벡터를 추출하기 위해 DCGAN 기반의 이미지 인코더를 사용한다.
• 일반적인 LSTM이 자연어 지시문을 문장 벡터로 인코딩하며, 최종 은닉 상태가 지시문 임베딩을 나타낸다.
• 완전 연결 레이어가 이미지 및 지시문 벡터를 융합하여 목표 이미지의 단일 잠재 표현으로 만든다.
• 모델은 생성된 이미지와 지정된 진짜 목표 이미지 간의 재구성 오차를 최소화하도록 훈련된다.
• 프레임워크는 이전의 공유 이미지-언어 임베딩 연구를 영감으로 받아, 잠재공간에서 선형 가환성을 가정한다.
• 이미지 생성은 원래 DCGAN의 아키텍처를 유지하면서 융합된 잠재 벡터를 디코딩하여 생성된 생성기 네트워크를 통해 수행된다.

실험 결과

연구 질문

• RQ1 자연어 지시문이 잠재공간에서 정밀하고 상호작용 가능한 이미지 편집을 효과적으로 이끌 수 있는가?
• RQ2 모델은 제한된 지시어 데이터에서 '이동', '확장', '압축'과 같은 의미적 개념을 얼마나 잘 학습하고 일반화할 수 있는가?
• RQ3 지시어가 전체 이미지 기술이 아니라 원본과 목표 이미지 간의 차이에만 집중할 경우, 모델의 성능이 향상되는가?
• RQ4 훈련 데이터에서 '제거' 작업이 숫자 제거에만 관련되어 있을 때, '0을 오른쪽으로 이동'과 같은 새로운 작업에 대해 모델은 얼마나 잘 일반화하는가?

주요 결과

• 생성된 이미지와 목표 이미지 간의 높은 구조적 유사도(SSI)를 기록했으며, 주관적 평가 중 45.3%가 유사도를 '매우 유사'(5점)로 평가했다.
• 지시어 벡터는 의미적 개념을 잘 학습했다: '확장'과 '압축'은 서로 역연산으로 학습되었고, '이동' 벡터는 코사인 유사도 맵에서 명확한 방향성 클러스터링을 보였다.
• 모델는 '제거' 작업에 대해 명시적으로 다루지 않은 숫자 제거 작업과 같은 새로운 작업에 대해 일반화에 어려움을 겪었으며, 제로샷 일반화 능력이 제한됨을 보여주었다.
• 지시어 벡터에서 숫자 정체성(예: '0')은 잘 포착되지 않았는데, 이는 훈련 데이터에서 지시어당 하나의 숫자 작업만 사용했기 때문일 것이다.
• 지시어 벡터의 시각화 결과에서 방향성과 동사 의미는 효과적으로 학습되었지만, 수량 수사어(예: '일', '이')는 상당히 잘 표현되지 않았다.