[논문 리뷰] Remember What You have drawn: Semantic Image Manipulation with Memory

Xiangxi Shi, Zhonghua Wu외 3명|arXiv (Cornell University)|2021. 07. 27.

Multimodal Machine Learning Applications참고 문헌 22인용 수 5

한 줄 요약

이 논문은 메모리 기반 이미지 조작 네트워크인 MIM-Net을 제안하며, 학습된 잠재 메모리를 사용해 이미지 특징을 무늬와 구조 표현으로 분리하여 현실적이고 텍스트에 맞는 이미지 편집을 합성한다. 재구성 단계, 대상 위치 지정 유닛(TLU), 그리고 무작위 메모리 훈련 손실을 도입함으로써 MIM-Net은 네 개의 데이터셋에서 기존 방법보다 우수한 배경 보존 및 현실성 성능을 달성하며, 의미적 관련성, 배경 품질, 이미지 품질 측면에서 모두 슈퍼리어한 성능을 보였다.

ABSTRACT

Image manipulation with natural language, which aims to manipulate images with the guidance of language descriptions, has been a challenging problem in the fields of computer vision and natural language processing (NLP). Currently, a number of efforts have been made for this task, but their performances are still distant away from generating realistic and text-conformed manipulated images. Therefore, in this paper, we propose a memory-based Image Manipulation Network (MIM-Net), where a set of memories learned from images is introduced to synthesize the texture information with the guidance of the textual description. We propose a two-stage network with an additional reconstruction stage to learn the latent memories efficiently. To avoid the unnecessary background changes, we propose a Target Localization Unit (TLU) to focus on the manipulation of the region mentioned by the text. Moreover, to learn a robust memory, we further propose a novel randomized memory training loss. Experiments on the four popular datasets show the better performance of our method compared to the existing ones.

연구 동기 및 목표

• 기존의 텍스트 기반 이미지 조작 모델이 배경을 보존하는 데에 한계를 보이고 있으며, 현실적인 무늬를 생성하는 데에 어려움을 겪는 문제를 해결하기 위해.
• 편집 과정에서 무늬와 구조 특징를 융합함으로써 발생하는 구조적 왜곡을 줄이기 위해.
• 학습된 메모리 표현을 활용해 텍스트 기술과 이미지 특징 간의 다중 모odal 정렬을 향상시키기 위해.
• 배경 특징 등 관련이 없는 정보에 과적합되지 않고 오직 관련된 무늬 정보만을 캡처하는 강력한 메모리 모듈을 개발하기 위해.
• 재구성과 적대적 메모리 학습을 포함한 이중 단계 훈련 과정을 통해 모델의 일반화 능력과 편집 정확도를 향상시키기 위해.

제안 방법

• MIM-Net은 이미지 특징을 구조적 경계 맵과 메모리 벡터 세트에 저장된 무늬 표현으로 분리한다.
• 메모리 모듈을 훈련하기 위해 입력 이미지를 오직 메모리 특징만을 사용해 재구성하는 재구성 단계를 도입함으로써 메모리 품질과 관련성을 향상시킨다.
• 대상 위치 지정 유닛(TLU)은 텍스트에서 언급된 객체 영역에 모델의 주의를 집중시켜 배경 간섭을 줄인다.
• 메모리 수준의 적대적 손실과 가짜 지표 손실을 조합한 복합 손실 함수를 사용하여 메모리 벡터가 강건하고 의미적으로 유의미한지 보장한다.
• 모델은 사전 학습된 단어 임베딩을 텍스트 입력으로 사용하고, 직접적인 텍스트-이미지 융합에 의존하지 않고 메모리에서 해당 이미지 특징을 검색한다.
• TLU에서 생성된 특징 맵을 사용해 메모리 액세스를 게이팅함으로써 편집 과정에서 오직 관련된 무늬 정보만 사용하도록 보장한다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 모델에 비해 메모리 기반 아키텍처가 텍스트 유도 이미지 조작의 현실성과 정확도를 향상시킬 수 있는가?
• RQ2 배경과 구조적 세부 정보를 무시하고 오직 관련된 무늬 특징만 저장하도록 메모리 모듈을 어떻게 훈련시킬 수 있는가?
• RQ3 대상 위치 지정 유닛(TLU)이 이미지 조작 중 편집 정렬을 향상시키고 배경 왜곡을 줄이는 데에 어느 정도 기여하는가?
• RQ4 재구성과 적대적 메모리 학습을 포함한 이중 단계 훈련 과정이 더 강건하고 일반화 능력이 뛰어난 메모리 표현을 도출하는가?
• RQ5 제안된 방법은 다양한 데이터셋과 복잡한 편집 지시어 상황에서 배경 일관성을 얼마나 잘 유지하는가?

주요 결과

• MIM-Net은 ManiGAN과 기준 모델을 모두 초월하여 평가의 모든 측면에서 뛰어난 성능을 보였으며, 67명의 평가자들이 수행한 인간 평가에서 평균적으로 의미적 관련성 4.4점, 배경 품질 4.3점, 이미지 품질 4.2점을 기록했다.
• 제거 실험 결과, 메모리 모듈을 제거할 경우 흐릿한 이빨과 머리카락 등의 국소 세부 정보 생성이 떨어지는 것으로 나타났고, 메모리 모듈을 추가함으로써 현실성이 크게 향상됨을 확인했다.
• TLU는 모델이 관련 영역에 집중하도록 한다: 예를 들어, 설명에 '입', '턱뼈', '머리카락 라인'이 언급되지 않으면 '눈'과 '코'는 무시한다.
• 가짜 지표 손실(ℒp)은 객체의 구조를 보존하여 아티팩트를 줄이고 편집 결과의 일관성을 향상시킨다.
• 재구성 단계 덕분에 메모리 손실이 포함된 경우 목과 턱 부위의 공백 영역이 감소함으로써 더 의미 있는 메모리를 학습할 수 있었다.
• 최종 모델은 FIR 모듈 덕분에 선명한 국소 세부 정보와 복원된 가장자리(예: 꽃잎 경계)를 가진 고해상도(256×256) 이미지를 생성한다.