[논문 리뷰] Open-Edit: Open-Domain Image Manipulation with Open-Vocabulary Instructions

Xihui Liu, Zhe Lin외 5명|arXiv (Cornell University)|2020. 08. 04.

Multimodal Machine Learning Applications참고 문헌 65인용 수 7

한 줄 요약

Open-Edit는 자연어 지시어를 사용한 오픈 뷰어드롬 이미지 편집을 위한 첫 번째 프레임워크로, 사전 학습된 시각-의미 임베딩 공간을 활용하여 이미지 특징 맵에 대한 텍스트 유도 벡터 산술 연산을 수행한다. 이는 구조 인식 디코더와 사이클 일致성 제약 조건을 통한 샘플별 최적화를 통해 고해상도의 세부 사항을 유지하는 편집을 가능하게 하여 다양한 이미지 도메인에서 이전 방법들보다 시각적 품질과 일반화 능력 면에서 뛰어나다.

ABSTRACT

We propose a novel algorithm, named Open-Edit, which is the first attempt on open-domain image manipulation with open-vocabulary instructions. It is a challenging task considering the large variation of image domains and the lack of training supervision. Our approach takes advantage of the unified visual-semantic embedding space pretrained on a general image-caption dataset, and manipulates the embedded visual features by applying text-guided vector arithmetic on the image feature maps. A structure-preserving image decoder then generates the manipulated images from the manipulated feature maps. We further propose an on-the-fly sample-specific optimization approach with cycle-consistency constraints to regularize the manipulated images and force them to preserve details of the source images. Our approach shows promising results in manipulating open-vocabulary color, texture, and high-level attributes for various scenarios of open-domain images.

연구 동기 및 목표

• 사전에 정의된 도메인이나 세밀한 애너테이션에 제한되지 않고, 임의의 자연어 지시어를 사용한 오픈 도메인 이미지 편집을 가능하게 하기 위해.
• 웹에서 확보한 약한 감독을 받는 이미지-캡션 쌍을 활용하여 비용이 많이 드는 쌍화된 훈련 데이터에 대한 의존도를 줄이기 위해.
• 샘플별 최적화와 사이클 일관성 정규화를 통해 편집된 이미지의 구조적 및 의미적 세부 사항을 유지하기 위해.
• 조정 가능한 벡터 산술 계수를 통해 색상, 질감, 의미적 속성 등의 부드럽고 제어 가능한 전이를 가능하게 하기 위해.
• 도메인 특화 미세조정 없이도 다양한 실제 도메인에서의 일반화 능력을 입증하기 위해.

제안 방법

• 이미지와 텍스트 지시어를 모두 동일한 임베딩 공간에 매핑하기 위해 사전 학습된 시각-의미 임베딩 모델(예: Conceptual Captions에서 유래)을 사용한다.
• 텍스트 유도 시각적 특징 편집을 위해 벡터 산술을 수행한다: visual_embedding(image) + α × (text_embedding(target) - text_embedding(source))
• 경계 감독을 활용하여 복원 및 편집 과정에서 고해상도 이미지 구조를 유지하는 구조 보존 디코더를 적용한다.
• 재구성 및 사이클 일관성 손실로 정규화된 샘플별 최적화를 통해 디코더 내 계층별 페르터베이션을 학습한다.
• 양방향 편집(예: 빨간 사과 → 초록 사과 → 빨간 사과)을 수행하여 정체성 유지 및 현실성 확보를 위한 사이클 일관성 제약 조건을 적용한다.
• 편집된 이미지 애너테이션을 필요로 하지 않고, 이미지 재구성 감독만으로 디코더를 훈련시킨다.

실험 결과

연구 질문

• RQ1 세밀한 애너테이션이나 쌍화된 훈련 데이터가 필요 없이 오픈 뷰어드롬 환경에서 오픈 뷰어드롬 이미지 편집을 달성할 수 있는가?
• RQ2 시각-의미 임베딩를 어떻게 활용하여 국소화된, 지시어 인식 편집이 가능한 시각적 특징 편집을 수행할 수 있는가?
• RQ3 샘플별 최적화와 사이클 일관성 제약 조건이 생성된 편집의 세부 사항 유지 및 현실성 향상에 얼마나 기여하는가?
• RQ4 이 프레임워크는 다양한 이미지 유형과 지시어에서 부드럽고 제어 가능한 속성 전이를 지원할 수 있는가?
• RQ5 이 방법은 미리 보지 못한 이미지 도메인과 복잡한 자연어 지시어에 대해 어떻게 일반화되는가?

주요 결과

• 모델은 오픈 도메인 이미지 편집에서 최신 기술 수준의 시각적 품질을 달성하였으며, 사용자 연구 및 LPIPS 점수를 통해 뛰어난 현실감과 세부 사항 유지 능력을 입증하였다.
• 샘플별 최적화와 결합된 디코더 내 경계 제약 조건은 Conceptual Captions 검증 세트에서 LPIPS 오차를 0.17에서 0.06으로 감소시켰다.
• 사이클 일관성 제약 조건을 통한 샘플별 최적화는 Oxford-102 테스트 세트에서 L2 오차를 0.19에서 0.05로 감소시켜 재구성 정밀도를 크게 향상시켰다.
• 이 방법은 색상, 질감, 의미적 객체 등 다양한 속성을 포함한 오픈 도메인 이미지에서 편집이 가능했으며, 얼굴 편집 및 객체 교체와 같은 복잡한 케이스에서도 성공적으로 작동하였다.
• 계수 α를 조정함으로써 소스와 타겟 속성 사이의 부드러운 보간이 가능하여 제어 가능한 편집 강도를 입증하였다.
• 품질 결과를 통해 이 프레임워크는 실제 도메인과 지시어에 대해 잘 일반화되었으며, 다양한 실제 이미지에서의 질적 결과를 통해 이를 입증하였다.