[논문 리뷰] Controllable and Progressive Image Extrapolation

Yijun Li, Lu Jiang외 1명|arXiv (Cornell University)|2019. 12. 25.

Generative Adversarial Networks and Image Synthesis참고 문헌 53인용 수 9

한 줄 요약

이 논문은 시나리오 그래프를 조건부 제어로 사용하여 현실적인 이미지 확장 결과를 생성하는 점진적이고 제어 가능한 이미지 외삽 프레임워크를 제안한다. 작업을 세 단계—경계 상자 레이아웃 생성, 의미 분할 레이아웃 정밀화, 이미지 간 번역—로 분해함으로써 모델은 향상된 훈련 안정성과 사용자 제어를 바탕으로 고품질, 다양한, 텍스트 유도 이미지 합성 결과를 달성한다.

ABSTRACT

Image extrapolation aims at expanding the narrow field of view of a given image patch. Existing models mainly deal with natural scene images of homogeneous regions and have no control of the content generation process. In this work, we study conditional image extrapolation to synthesize new images guided by the input structured text. The text is represented as a graph to specify the objects and their spatial relation to the unknown regions of the image. Inspired by drawing techniques, we propose a progressive generative model of three stages, i.e., generating a coarse bounding-boxes layout, refining it to a finer segmentation layout, and mapping the layout to a realistic output. Such a multi-stage design is shown to facilitate the training process and generate more controllable results. We validate the effectiveness of the proposed method on the face and human clothing dataset in terms of visual results, quantitative evaluations and flexible controls.

연구 동기 및 목표

• 기존의 이미지 외삽 방법이 생성된 내용에 대한 제어 기능이 부족하고 무조건적 생성에 국한되어 있다는 한계를 해결하기 위해.
• 사용자가 구조화된 텍스트(시나리오 그래프)를 통해 원하는 객체와 공간적 관계를 지정할 수 있는 조건부 이미지 외삽을 가능하게 하기 위해.
• 복잡한 픽셀 간 이미지 번역 작업을 중간 레이아웃 생성 단계로 분해함으로써 훈련 안정성과 생성 품질을 향상시키기 위해.
• 이미지의 맥락과 텍스트 제어 신호를 모두 존중하는 유연하고 다양한 의미적으로 일치하는 이미지 외삽 결과를 달성하기 위해.

제안 방법

• 이 방법은 세 단계 점진적 생성 모델을 사용한다: 먼저 시나리오 그래프에서 거친 경계 상자 레이아웃을 생성하고, 이를 바탕으로 세밀한 의미 분할 레이아웃으로 정밀화한 후, 마지막으로 레이아웃을 현실적인 RGB 이미지로 변환한다.
• 각 단계는 별도로 사전 훈련된 후 공동 미세조정을 통해 수렴성과 성능을 향상시킨다. (경계 상자 예측, 분할, 이미지 번역 등 각각의 작업에 대해.)
• 시나리오 그래프는 객체 배치와 공간적 관계를 안내하기 위해 사용되며, 노드는 객체를 나타내고, 간선은 공간 관계를 표현한다 (예: '드레스가 몸 위에 있음').
• 훈련 중에 커리큘럼 학습 전략을 적용하여 간단한 레이아웃 생성 작업에서 시작해 점차 더 복잡한 이미지 합성 작업으로 점진적으로 진행한다.
• 최종 분할 레이아웃을 현실적이고 고해상도의 출력 이미지로 매핑하기 위해 이미지 간 번역 네트워크(GAN 기반 등)를 활용한다.
• 중간 출력물(경계 상자 및 분할 레이아웃)은 의미적으로 유의미하며 생성 과정의 해석 가능하고 유용한 부산물로 기능한다.

실험 결과

연구 질문

• RQ1 다단계 생성 모델은 종단 간 픽셀 수준의 생성 방식에 비해 이미지 외삽의 제어성과 품질을 향상시키는가?
• RQ2 시나리오 그래프가 외삽 영역 내 생성된 객체의 공간적 배치와 정체성을 얼마나 효과적으로 안내할 수 있는가?
• RQ3 중간 레이아웃 감독을 통한 점진적 훈련 전략이 모델 수렴성과 생성 정밀도를 향상시키는가?
• RQ4 동일한 이미지 패치에서 다양한 시나리오 그래프 입력을 통해 모델이 얼마나 다양한 결과를 일반화하여 생성할 수 있는가?
• RQ5 데이터 사전 지식과 사용자 지정 관계 간 충돌이 발생할 경우 시나리오 그래프 제어의 한계는 무엇인가?

주요 결과

• 사용자 선호도 평가에서 제안된 방법은 92.34%의 점수를 기록하여 기준선 방법들(sg2im_r: 2.65%, sg2im_c: 5.01%)을 크게 앞서며 유의미한 성능 향상을 보였다.
• 동일한 입력 패치에서 시나리오 그래프를 다양하게 설정함으로써 모델은 다양한 의미적으로 일관된 외삽 이미지를 생성하며, 강력한 제어성을 입증하였다.
• 합성 형태 데이터셋에서 시나리오 그래프에 포함된 모든 객체 및 관계 정보를 반영한 레이아웃을 성공적으로 생성하였으며, 동일한 객체 유형의 다중 인스턴스도 정확히 반영하였다.
• 시나리오 그래프에 관계 정보가 없더라도 데이터 사전 지식(예: 하늘은 객체 위에 있음) 덕분에 타당한 레이아웃을 생성할 수 있지만, 이는 사용자 제어와 갈등을 일으킬 수 있다.
• 점진적 훈련 전략은 종단 간 대비하여 더 빠른 수렴과 더 안정적인 훈련을 이끌었다.
• 모델의 중간 출력물(경계 상자 및 분할 레이아웃)은 의미적으로 유의미하며 사용자 해석과 디버깅에 매우 유용하다.