[논문 리뷰] Neural Color Transfer between Images.

Mingming He, Jing Liao외 2명|arXiv (Cornell University)|2017. 10. 02.

Image Enhancement Techniques참고 문헌 8인용 수 29

한 줄 요약

이 논문은 신경망 표현을 통해 의미 인식형 밀도 기반 대응 관계를 활용하여 공간적으로 변동하는 전역 일관성 있는 색상 전이를 가능하게 하는 신경망 기반 색상 전이 방법을 제안한다. 군집에서 세분화된 방식으로 매칭과 색상 전이를 동시에 최적화함으로써, 다양한 이미지 콘텐츠 간 정확한 일대일 및 일대다 색상 전이를 달성한다.

ABSTRACT

We propose a new algorithm for color transfer between images that have perceptually similar semantic structures. We aim to achieve a more accurate color transfer that leverages semantically-meaningful dense correspondence between images. To accomplish this, our algorithm uses neural representations for matching. Additionally, the color transfer should be spatially-variant and globally coherent. Therefore, our algorithm optimizes a local linear model for color transfer satisfying both local and global constraints. Our proposed approach jointly optimize matching and color transfer, adopting a coarse-to-fine strategy. The proposed method can be successfully extended from one-to-one to one-to-many color transfers. The latter further addresses the problem of mismatching elements of the input image. We validate our proposed method by testing it on a large variety of image content.

연구 동기 및 목표

• 유사한 구조를 가진 이미지에서 의미 요소가 일치하지 않을 경우 발생하는 정확하지 않은 색상 전이 문제를 해결하기 위해.
• 밀도 기반의 의미 인식형 대응 관계를 위해 신경망 표현을 활용하여 색상 전이 정확도를 향상시키기 위해.
• 이미지 전반에 걸쳐 전역 일관성을 유지하면서 공간적으로 변동하는 색상 전이를 보장하기 위해.
• 더 넓은 적용 범위를 확보하기 위해 일대일 전이에서 일대다 전이로 방법을 확장하기 위해.
• 군집에서 세분화된 전략을 사용하여 매칭과 색상 전이를 동시에 최적화하기 위해.

제안 방법

• 이 방법은 소스 이미지와 타겟 이미지 간에 의미적으로 의미 있는 밀도 기반 대응 관계를 수립하기 위해 신경망 표현을 사용한다.
• 지역 선형 모델을 활용한 최적화 문제로 색상 전이를 정식화하여 지역적 및 전역적 제약 조건을 모두 만족시킨다.
• 진행적 으로 매칭 및 전이 과정을 향상시키기 위해 군집에서 세분화된 전략을 채택한다.
• 매칭과 색상 전이를 동시에 최적화함으로써 정렬 및 전이 정확도를 향상시킨다.
• 복잡한 이미지 구성에서의 오류를 줄이기 위해 일대다 색상 전이로 프레임워크를 확장한다.
• 전역 일관성을 유지하면서 색상 변환의 공간적 변동성을 강제한다.

실험 결과

연구 질문

• RQ1 신경망 표현을 통해 의미 인식형 밀도 기반 대응 관계를 가능하게 하여 색상 전이 정확도를 향상시킬 수 있는가?
• RQ2 이미지 색상 전이에서 공간적으로 변동하는 동시에 전역 일관성이 유지되는 색상 전이를 어떻게 달성할 수 있는가?
• RQ3 제안된 방법이 효과적으로 일대일에서 일대다 색상 전이로 확장될 수 있는가?
• RQ4 매칭과 색상 전이의 동시 최적화가 전이 품질 향상에 어느 정도 기여하는가?
• RQ5 군집에서 세분화된 전략이 전이 과정의 안정성과 정확도를 어떻게 향상시키는가?

주요 결과

• 신경망 표현을 통한 의미 기반 대응 관계를 활용함으로써 더 정확한 색상 전이를 달성한다.
• 매칭과 색상 전이의 동시 최적화가 정렬 및 시각적 품질 향상에 기여한다.
• 군집에서 세분화된 전략이 전이 과정의 안정성과 정밀도를 향상시킨다.
• 일대다 색상 전이로의 확장으로 인해 복잡한 이미지 구조에서의 오류가 효과적으로 감소한다.
• 다양한 유형의 이미지 콘텐츠 전반에서 뛰어난 성능을 보인다.
• 공간적으로 변동하는 전역 일관성 있는 색상 전이는 시각적으로 타당하고 일관된 결과를 생성한다.