[논문 리뷰] Image Inpainting using Multi-Scale Feature Image Translation.

Yuhang Song, Chao Yang외 4명|arXiv (Cornell University)|2017. 11. 23.

Generative Adversarial Networks and Image Synthesis인용 수 18

한 줄 요약

이 논문은 두 개의 딥 네ural 네트워크를 사용하여 작업을 초기화 및 텍스처 정밀화 단계로 분리함으로써 다중 척도 특징 영상 번역 기반의 영상 복원 방법을 제안한다. 저차원 특징 번역을 모델링하고 경계 유도 텍스처 전달을 활용함으로써, 이 방법은 이전 방법들보다 주관적 품질이 뛰어나고, 순차적 추론 속도가 수개의 지수 차수 빠르게 구현된다.

ABSTRACT

We study the task of image inpainting, which is to fill in the missing region of an incomplete image with plausible contents. To this end, we propose a learning-based approach to generate visually coherent completion given a high-resolution image with missing components. In order to overcome the difficulty to directly learn the distribution of high-dimensional image data, we divide the task into initialization and texture-refinement as two separate steps and model each step with a deep neural network. We also use simple heuristics to guide transferring of textures from boundary to the hole. We show that, by using such techniques, inpainting reduces to the problem of learning two image-feature translation functions of much smaller dimensionality. We evaluate our method on several public datasets and show that we not only generate results of comparable or better visual quality, but are orders of magnitude faster than previous state-of-the-art methods.

연구 동기 및 목표

• 결손 영역이 있는 고해상도 영상에 대해 시각적으로 일관된 완성 영상을 생성하는 데 도전한다.
• 영상 복원을 두 개의 낮은 차원 작업으로 분해함으로써 고차원 영상 데이터 분포를 학습하는 데 어려움을 극복한다.
• 추론 속도를 향상시키면서도 최신 기술 수준의 시각적 품질을 유지하거나 초월한다.
• 히우리스틱 가이던스를 활용해 영상 경계에서 결손 영역으로 텍스처를 효과적으로 전달하는 방법을 개발한다.

제안 방법

• 이 방법은 영상 복원을 두 단계로 나누며, 각각 별도의 딥 네럴 네트워크로 모델링한다: 초기 완성 및 텍스처 정밀화.
• 영상 번역 작업의 차원을 줄이기 위해 다중 척도 특징 표현을 사용한다.
• 결손 영역으로의 텍스처 전달은 단순 히우리스틱을 통해 유도되어 구조적 및 텍스처 일관성을 유지한다.
• 각 단계를 별개의 영상-특징 번역 문제로 간주함으로써 전체 학습 목표를 단순화한다.
• 네트워크는 컨텍스트와 경계 신호를 기반으로 결손 영역에 타당한 콘텐츠를 예측하기 위해 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 영상 복원을 초기화 및 정밀화 단계로 분해하는 것이 속도와 시각적 품질을 모두 향상시키는가?
• RQ2 다중 척도 특징 번역은 고차원 영상 완성의 복잡성을 얼마나 효과적으로 줄이는가?
• RQ3 히우리스틱 기반 경계 유도 텍스처 전달이 생성된 영역의 현실감을 향상시키는가?
• RQ4 이 방법은 이전 최신 기술 수준의 접근 방식에 비해 추론 속도와 시각적 정밀도에서 얼마나 뛰어나게 성능을 냈는가?

주요 결과

• 제안된 방법은 여러 공개 데이터셋에서 최신 기술 수준의 방법과 비교해 유사하거나 더 뛰어난 시각적 품질을 달성한다.
• 추론 시간을 크게 단축시켜 이전 최신 기술 수준의 접근 방식보다 수개의 지수 차수 빠른 속도로 작동한다.
• 다중 척도 특징 번역의 사용은 낮은 차원의 표현에서 효과적인 학습을 가능하게 하여 훈련 안정성을 향상시킨다.
• 경계 유도 텍스처 전달은 더 현실적이며 맥락적으로 일관된 결손 영역 메우기에 기여한다.