[논문 리뷰] A Benchmark and Baseline for Language-Driven Image Editing

Jing Shi, Ning Xu외 4명|arXiv (Cornell University)|2020. 10. 05.

Multimodal Machine Learning Applications참고 문헌 29인용 수 5

한 줄 요약

이 논문은 자연어 요청을 통해 국소적이고 전역적인 편집을 모두 지원하는 새로운 언어 기반 이미지 편집(LDIE) 작업을 소개한다. 30,000개의 애너테이션된 이미지 트리플릿(원본 이미지, 요청, 목표 이미지)을 포함한 최초의 대규모 벤치마크인 GIER를 제안하고, 요청을 해석하고 편집 작업과 마스크를 예측하며, 높은 해석 가능성과 실제 사용자 데이터에서 뛰어난 성능을 보이는 단계별로 적용하는 모듈러한 신경망 베이스라인을 제안한다.

ABSTRACT

Language-driven image editing can significantly save the laborious image editing work and be friendly to the photography novice. However, most similar work can only deal with a specific image domain or can only do global retouching. To solve this new task, we first present a new language-driven image editing dataset that supports both local and global editing with editing operation and mask annotations. Besides, we also propose a baseline method that fully utilizes the annotation to solve this problem. Our new method treats each editing operation as a sub-module and can automatically predict operation parameters. Not only performing well on challenging user data, but such an approach is also highly interpretable. We believe our work, including both the benchmark and the baseline, will advance the image editing area towards a more general and free-form level.

연구 동기 및 목표

• 비전문가가 수동으로 작업 선택이나 파rameter 조정 없이 자연어 기반의 이미지 편집을 가능하게 하여 이미지 편집의 접근성을 높이는 데 목적을 두며.
• 국소적이고 전역적인 이미지 편집을 모두 지원하며, 작업과 마스크에 대한 상세한 애너테이션을 포함하는 대규모 실세계 데이터셋을 구축하는 데 목적을 두며.
• 언어 요청에서 편집 작업, 영역, 파rameter를 예측하는 모듈러하고 해석 가능한 모델을 개발하여 인간이 개입하는 개선 과정를 가능하게 하는 데 목적을 두며.
• 자유형식 언어 기반 이미지 편집 분야의 향후 연구를 위한 강력한 베이스라인을 수립하는 데 목적을 두며.

제안 방법

• Reddit 및 Zhopped과 같은 플랫폼에서 실제 사용자 요청을 바탕으로 한 30,000개 샘플을 포함한 '기반 이미지 편집 요청(GIER)' 데이터셋을 제안하며, 원본 이미지, 자연어 편집 요청, 목표 이미지를 포함한다.
• 언어 요청을 편집 작업의 시퀀스로 분석하고, 각 작업에 대해 예측된 영역과 파rameter를 포함하는 모듈러한 신경망(OMN)을 설계한다.
• 다중 영역과 작업별 특화된 컨텍스트를 처리할 수 있도록 MattNet을 확장한 작업 조건 기반 기반 모델을 도입하여 국소화 정확도를 향상시킨다.
• 이미지, 언어, 작업 모odal 간의 특징을 정렬하기 위해 훈련 중 트리플릿 손실을 사용하여 다중 모odal 표현 학습을 향상시킨다.
• 두 단계 훈련 프로세스를 활용한다: 먼저 작업와 마스크를 예측하고, 이후 GAN 기반 생성기로 출력 이미지를 보정한다.
• 제거 분석과 인간 평가를 통해 모델의 유효성을 검증하여 다양한 실세계 사용자 요청에 대해 뛰어난 강건성을 입증한다.

실험 결과

연구 질문

• RQ1 언어 기반 이미지 편집 시스템은 국소적이고 전역적인 편집을 위한 세부적이고 모호한 자연어 요청을 효과적으로 해석할 수 있는가?
• RQ2 작업과 마스크 애너테이션의 포함이 이미지 편집 모델의 성능과 해석 가능성에 어떤 영향을 미치는가?
• RQ3 모듈러하고 작업별 특화된 네트워크 아키텍처는 종단간 GAN 기반 모델 대비 시각적 품질과 편집 정확도 측면에서 얼마나 뛰어난 성능을 보일 수 있는가?
• RQ4 시각적 특징과 언어 특징는 편집 작업 예측과 기반에 어떤 기여를 하는가? 국소적 편집과 전역적 편집에서 어느 모달이 더 핵심적인가?
• RQ5 예측된 작업과 마스크를 통한 중간 단계 감독이 최종 이미지 생성 품질 향상과 데이터셋 애너테이션 검증에 기여하는가?

주요 결과

• 제안된 모듈러 네트워크(OMN)는 실제 사용자 데이터에서 뛰어난 성능을 보이며, Pix2pixAug와 같은 GAN 기반 베이스라인 대비 사용자 평가 점수가 유의미하게 높아 시각적 품질과 인간 상호작용 잠재력 측면에서 더 낫다는 것을 입증한다.
• 모델의 상한선 성능(정답 작업과 마스크를 사용한 경우)은 전체 모델보다 훨씬 높게 나타나, 향후 작업과 마스크 예측 성능 향상이 큰 성과 향상으로 이어질 수 있음을 시사한다.
• 제거 분석 결과, 작업 선택에 시각적 특징과 언어 특징를 함께 사용하는(V+L) 것이 언어 특징만 사용하는(L) 것보다 약간 열등한 성능를 보이며, 이는 언어 컨텍스트 자체가 작업 예측에 매우 유용하다는 것을 시사한다.
• 훈련 중 트리플릿 손실이 성능 향상에 기여함을 확인하여, 이미지, 언어, 작업 공간 간의 다중 모달 표현 정렬에 효과적이라는 것을 입증한다.
• 훈련 중 작업 순서를 무작위로 설정하면 고정 순서 대비 성능이 약간 향상되어, 다양한 작업 순서 조합이 모델 일반화에 기여한다는 것을 시사한다.
• 모델는 강력한 국소 편집 능력을 보이며, 복잡한 장면에서 텍스트나 사람과 같은 객체를 정확히 제거할 수 있었고, 시각적 기반 및 편집 두드러짐 측면에서 Pix2pixAug를 능가했다.