[논문 리뷰] Learning Hierarchical Semantic Image Manipulation through Structured Representations

Seunghoon Hong, Xinchen Yan외 2명|arXiv (Cornell University)|2018. 08. 22.

Generative Adversarial Networks and Image Synthesis인용 수 59

한 줄 요약

본 논문은 먼저 거친 바운딩 박스로부터 미세한 의미적 레이아웃을 예측한 뒤, 그 레이아웃에 조건화하여 최종 이미지를 생성함으로써 컨텍스트 인지적 객체 수준 편집을 보장하는 계층적 프레임워크를 제시한다.

ABSTRACT

Understanding, reasoning, and manipulating semantic concepts of images have been a fundamental research problem for decades. Previous work mainly focused on direct manipulation on natural image manifold through color strokes, key-points, textures, and holes-to-fill. In this work, we present a novel hierarchical framework for semantic image manipulation. Key to our hierarchical framework is that we employ a structured semantic layout as our intermediate representation for manipulation. Initialized with coarse-level bounding boxes, our structure generator first creates pixel-wise semantic layout capturing the object shape, object-object interactions, and object-scene relations. Then our image generator fills in the pixel-level textures guided by the semantic layout. Such framework allows a user to manipulate images at object-level by adding, removing, and moving one bounding box at a time. Experimental evaluations demonstrate the advantages of the hierarchical manipulation framework over existing image generation and context hole-filing models, both qualitatively and quantitatively. Benefits of the hierarchical framework are further demonstrated in applications such as semantic object manipulation, interactive image editing, and data-driven image manipulation.

연구 동기 및 목표

• 의미적 수준의 이미지 조작을 색상 스트로크나 인페인팅과 같은 낮은 수준의 편집을 넘어서 제시한다.
• 객체 바운딩 박스에서 의미적 레이아웃으로, 그리고 픽셀 수준 이미지로 이어지는 거친-정교한 워크플로우를 제안한다.
• 적응형 컨텍스트 인식 렌더링으로 추가, 제거, 이동과 같은 인터랙티브한 객체 수준 편집을 가능하게 한다.
• 다양한 데이터셋에 걸친 인터랙티브 편집 및 데이터 기반 이미지 조작의 이점을 보여준다.

제안 방법

• 두 단계 생성기를 도입한다: 거친 바운딩 박스와 컨텍스트로 픽셀 단위의 의미적 레이아웃을 예측하는 구조 생성기와, 예측된 레이아웃에 조건화된 텍스처를 렌더링하는 이미지 생성기.
• 조작 영역 내에서 객체 마스크와 컨텍스트 레이블을 분리하여 예측하는 두 스트림 구조 디코더를 사용해 전경-배경 구분을 가능하게 한다.
• 레이아웃 생성을 안내하기 위해 조건부 적대적 손실과 재구성 손실을 도입하되, 객체 마스크 스트림과 컨텍스트 스트림을 포함한다.
• 예측된 레이아웃을 로컬 이미지 패치와 결합한 이중 스트림 인코더-디코더 이미지 생성기로, 중간 게이트 상호작용을 통해 레이아웃과 이미지 특징을 융합한다.
• 바운딩 박스 기반 연산을 한 객체씩 적용하여 반복 편집을 허용한다.]
• research_questions:[
• How can semantic image manipulation be achieved via hierarchical generation starting from coarse object bounding boxes?
• Does separating structure (layout) and appearance (image) in two streams improve manipulation quality and contextual coherence?
• Can the model support interactive editing (add/remove/move) and data-driven image manipulation effectively across diverse scenes?

실험 결과

연구 질문

• RQ1 객체 바운딩 박스로부터 시작하는 계층적 생성을 통해 의미적 이미지 조작을 어떻게 달성할 수 있는가?
• RQ2 두 스트림에서 구조(레이아웃)와 외관(이미지)을 분리하면 조작 품질과 맥락 일관성이 향상되는가?
• RQ3 다양한 장면에서 인터랙티브 편집(추가/제거/이동)과 데이터 기반 이미지 조작을 효과적으로 지원할 수 있는가?

주요 결과

• 계층적 프레임워크는 주변 맥락과 객체 수준 의미에 부합하는 타당하게 편집된 이미지를 산출한다.
• 두 스트림 설계(레이아웃 인코더와 이미지 인코더를 분리)가 지각적 품질 및 맥락 일관성에서 단일 스트림 변형보다 우수하다.
• 예측된 레이아웃을 사용해도 이미지 전용이나 레이아웃 전용 기준선보다 상당한 이점을 제공하며, 레이아웃 추정 오차에 대해서도 강건함을 보인다.
• 메서드는 객체 박스를 샘플링하여 서로 다른 장면 간에 전송하고 객체 수준 편집 및 데이터 기반 조작을 지원한다.
• Cityscape 및 ADE20K 침실 이미지에서 맥락 홀 채움 및 구조 조건 생성 기준선 대비 정성적·정량적 평가에서 우수한 성능을 보인다.