[논문 리뷰] Masked Based Unsupervised Content Transfer

Ron Mokady, Sagie Benaim외 2명|arXiv (Cornell University)|2020. 04. 30.

Generative Adversarial Networks and Image Synthesis참고 문헌 43인용 수 2

한 줄 요약

이 논문은 생성된 마스크를 사용하여 공통적이고 도메인 특화된 내용을 분리함으로써 관련 이미지 영역에만 집중함으로써 고품질이고 다양한 번역을 가능하게 하는 마스크 처리된 비지도적 콘텐츠 전이 방법을 제안한다. 이 방법은 지도 학습이 전혀 필요 없는 클래스 레이블만으로도 상태의 성능을 달성하며, 비지도적 의미 분할을 가능하게 한다.

ABSTRACT

We consider the problem of translating, in an unsupervised manner, between two domains where one contains some additional information compared to the other. The proposed method disentangles the common and separate parts of these domains and, through the generation of a mask, focuses the attention of the underlying network to the desired augmentation alone, without wastefully reconstructing the entire target. This enables state-of-the-art quality and variety of content translation, as demonstrated through extensive quantitative and qualitative evaluation. Our method is also capable of adding the separate content of different guide images and domains as well as remove existing separate content. Furthermore, our method enables weakly-supervised semantic segmentation of the separate part of each domain, where only class labels are provided. Our code is available anonymously at http://bit.ly/2mXTizX.

연구 동기 및 목표

• 한 도메인에 다른 도메인에 존재하지 않는 추가 정보가 포함된 도메인 간 비지도적 이미지 번역 문제를 해결하기 위해.
• 쌍화된 학습 데이터 없이도 공통 콘텐츠와 도메인 특화 콘텐츠를 비지도적으로 분리하기 위해.
• 생성된 마스크를 통해 네트워크의 주의를 관련 이미지 영역에 집중시킴으로써 번역 품질과 다양성을 향상시키기 위해.
• 가이드 이미지와 다른 도메인으로부터 별개의 콘텐츠를 추가하거나 제거할 수 있도록 하기 위해.
• 클래스 수준의 애너테이션만을 사용하여 도메인 특화 부분의 약한 지도 학습 기반 의미 분할을 수행하기 위해.

제안 방법

• 이 방법은 타겟 이미지 내에서 도메인 특화 콘텐츠를 식별하고 분리하기 위해 마스크 생성 네트워크를 사용한다.
• 도메인 간에 공유되는 공통 콘텐츠와 각 도메인 고유의 별개 콘텐츠를 분리한다.
• 네트워크는 마스크된 영역에 집중하여 전체 타겟 이미지의 중복 재구성 방지를 위해 생성 과정을 수행한다.
• 신뢰성 있는 번역과 신원 보존을 보장하기 위해 사이클 일致성 적대적 프레임워크를 적용한다.
• 마스크는 번역 네트워크와 함께 엔드 투 엔드로 훈련되며, 적대적 손실과 재구성 손실을 사용한다.
• 다양한 가이드 이미지의 마스크를 조합하여 마스크 기반의 제로샷 콘텐츠 전이를 지원한다.

실험 결과

연구 질문

• RQ1 학습된 마스크를 사용해 네트워크의 주의를 도메인 특화 콘텐츠 영역에 집중시킴으로써 비지도적 이미지 번역 성능을 향상시킬 수 있는가?
• RQ2 쌍화된 학습 데이터 없이도 이 방법이 공통 콘텐츠와 별개 콘텐츠를 얼마나 잘 분리할 수 있는가?
• RQ3 다양한 가이드 이미지의 마스크를 조합하여 콘텐츠를 전이할 수 있는가?
• RQ4 클래스 레이블만으로 이 방법이 얼마나 잘 약한 지도 학습 기반 의미 분할을 수행할 수 있는가?
• RQ5 마스크 기반 주의 메커니즘이 기준 방법 대비 더 높은 품질과 다양성을 가진 이미지를 생성하는 데 기여하는가?

주요 결과

• 제안된 방법은 정량적 지표와 정성적 콘텐츠 전이 다양성 측면에서 모두 최신 기준 성능을 달성한다.
• 다른 가이드 이미지의 마스크를 조합하여 별개 콘텐츠의 추가가 가능하다.
• 마스크 조작을 통해 기존의 별개 콘텐츠 제거가 가능하다.
• 클래스 수준의 레이블만을 사용하여 도메인 특화 부분의 약한 지도 학습 기반 의미 분할을 수행할 수 있다.
• 광범위한 평가를 통해 마스크 기반 주의 메커니즘이 공통 영역의 불필요한 재구성 문제를 줄여 번역 품질을 크게 향상시킨다는 것이 확인되었다.
• 쌍화된 데이터 없이도 다양한 도메인과 이미지 유형에 걸쳐 강력한 일반화 성능을 보여주며, 뛰어난 성능을 유지한다.