[논문 리뷰] Learning to Globally Edit Images with Textual Description

Hai Wang, J. D. Williams외 1명|arXiv (Cornell University)|2018. 10. 13.

Multimodal Machine Learning Applications참고 문헌 55인용 수 17

한 줄 요약

이 논문은 GAN과 RNN 기반 텍스트 인코더를 활용하여 자유형 텍스트 기반 기술을 사용한 엔드 투 엔드로 학습 가능한 딥 러닝 프레임워크를 제안한다. 필터 백 모델이 성능과 효율성의 최적 균형을 달성하며, RNN을 Graph RNN으로 대체함으로써 결과가 더욱 향상된다. 이는 사전 정의된 규칙 없이 순수 텍스트 기반으로 전역 이미지 편집을 가능하게 한 최초의 작업이다.

ABSTRACT

We show how we can globally edit images using textual instructions: given a source image and a textual instruction for the edit, generate a new image transformed under this instruction. To tackle this novel problem, we develop three different trainable models based on RNN and Generative Adversarial Network (GAN). The models (bucket, filter bank, and end-to-end) differ in how much expert knowledge is encoded, with the most general version being purely end-to-end. To train these systems, we use Amazon Mechanical Turk to collect textual descriptions for around 2000 image pairs sampled from several datasets. Experimental results evaluated on our dataset validate our approaches. In addition, given that the filter bank model is a good compromise between generality and performance, we investigate it further by replacing RNN with Graph RNN, and show that Graph RNN improves performance. To the best of our knowledge, this is the first computational photography work on global image editing that is purely based on free-form textual instructions.

연구 동기 및 목표

• 사전에 수작업으로 정의된 규칙나 API에 의존하지 않고 임의의 텍스트 지시어를 사용한 전역 이미지 편집을 가능하게 하기 위해.
• 학습을 위해 대규모 이미지 변환 쌍과 해당하는 자유형 텍스트 기술을 포함한 데이터셋을 수집하기 위해.
• 복잡성과 전문 지식 인코딩 정도가 다른 세 가지 학습 가능한 모델—버킷, 필터 백, 엔드 투 엔드—를 설계하고 비교하기 위해.
• 텍스트 인코딩에 Graph RNN을 적용할 경우 표준 RNN보다 성능 향상이 이루어지는지 조사하기 위해.
• 학습된 변환은 전역 편집에 기반했음에도 불구하고 국소적 변환을 학습할 수 있음을 보여주며, 이는 풍부한 비선형 매핑 능력을 시사한다.

제안 방법

• 시스템은 조건부 GAN 아키텍처를 사용하며, 인코더-디코더 구조를 취한다. 텍스트 기술은 RNN 또는 Graph RNN을 통해 임bedding되며, 이는 생성자에 조건이 되어 편집된 이미지를 생성한다.
• 세 가지 모델이 제안된다: 수작업으로 정의된 필터를 사용하는 버킷 기반 모델, 학습 가능한 필터를 사용하는 필터 백 모델, 사전 구조 없이 완전히 엔드 투 엔드로 구성된 모델.
• 필터 백 모델은 텍스트 인코더에 의해 동적으로 선택되는 학습 가능한 필터의 집합을 사용하여, 민첩하고 효율적인 변환 학습을 가능하게 한다.
• 장거리 의존성과 단어 간 관계를 모델링하기 위해 텍스트 인코더에 Graph RNN을 적용하여, 모호하거나 긴 기술에 대해 성능 향상이 이루어진다.
• 약 2,000개의 이미지-텍스트 쌍으로 구성된 커스터마이징된 데이터셋을 Amazon Mechanical Turk를 통해 수집하였으며, 밝기, 대비, 색상 조정 등 다양한 전역 편집 작업을 포함한다.
• 학습에는 적대적 손실, 지각적 손실, L1 손실을 사용하여 현실감 있고 충실한 이미지 생성을 보장한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델은 사전 정의된 규칙 없이 자유형 텍스트 기술에서 전역 이미지 편집을 학습할 수 있는가?
• RQ2 버킷, 필터 백, 엔드 투 엔드 등 다양한 모델 아키텍처의 품질, 메모리 사용량, 학습 효율성 측면에서의 성능 비교는 어떻게 이루어지는가?
• RQ3 장기간 또는 모호한 지시어에 대해 표준 RNN에 비해 Graph RNN이 텍스트 인코딩에 더 나은 성능을 보일 수 있는가?
• RQ4 전역 편집에 기반해 학습된 모델가 국소적 변환을 얼마나 잘 학습할 수 있으며, 전문가 애너테이션과 비교해 볼 때 어떤가?
• RQ5 실제 세계의 다양한 텍스트 기술에 기반해 순수 엔드 투 엔드 시스템을 학습시키는 것이 가능한가?

주요 결과

• 필터 백 모델이 성능과 효율성의 최적 균형을 달성하며, K_b 개의 버킷이 필요한 버킷 모델 대비 메모리 사용량이 1/K_b 수준에 그친다.
• Graph RNN은 독립 평가 및 쌍대 평가 모두에서 표준 GRU를 능가하며, 독립 평가 점수는 3.35 ± 1.24 vs. 3.31 ± 1.22를 기록한다.
• 모델은 복잡한 비전역 매핑을 학습한다: RGB 재매핑 분포는 전문가 A보다 더 넓은 출력 범위를 보이며 국소적 변환을 시사한다.
• 필터 백의 각 학습된 필터는 명시적인 지도 없이도 특정 편집 유형(예: 밝기 증가 또는 감소)에 대응한다.
• 모델은 예상치 못한 지시어에도 잘 일반화되며, 실제 데이터에 기반한 엔드 투 엔드 학습이 강력한 텍스트 기반 이미지 편집을 가능하게 함을 보여준다.
• 특히 Graph RNN의 구조 인식 능력 덕분에, 긴 또는 모호한 지시어일 경우에도 편집을 성공적으로 적용하는 것을 학습한다.