[논문 리뷰] Photo Stylistic Brush: Robust Style Transfer via Superpixel-Based Bipartite Graph

Jiaying Liu, Wenhan Yang외 2명|arXiv (Cornell University)|2016. 06. 13.

Generative Adversarial Networks and Image Synthesis참고 문헌 8인용 수 3

한 줄 요약

이 논문은 초점이 복잡한 시각적 스타일—예를 들어 색상, 톤, 대비—을 이미지 간에 전달하는 데 중점을 두고, 슈퍼픽셀 기반 이분할 그래프 접근 방식을 사용하는 강건한 예시 기반 사진 스타일화 방법인 SuperBIG를 제안한다. 계층적 특징과 글로벌 슈퍼픽셀 수준의 매칭을 활용함으로써 SuperBIG는 뛰어난 시각적 품질과 일관성을 달성하며, 특히 야경과 같은 도전적인 케이스에서 최신 기술 대비 정량적·정성적 평가에서 뛰어난 성능을 보였다.

ABSTRACT

With the rapid development of social network and multimedia technology, customized image and video stylization has been widely used for various social-media applications. In this paper, we explore the problem of exemplar-based photo style transfer, which provides a flexible and convenient way to invoke fantastic visual impression. Rather than investigating some fixed artistic patterns to represent certain styles as was done in some previous works, our work emphasizes styles related to a series of visual effects in the photograph, e.g. color, tone, and contrast. We propose a photo stylistic brush, an automatic robust style transfer approach based on Superpixel-based BIpartite Graph (SuperBIG). A two-step bipartite graph algorithm with different granularity levels is employed to aggregate pixels into superpixels and find their correspondences. In the first step, with the extracted hierarchical features, a bipartite graph is constructed to describe the content similarity for pixel partition to produce superpixels. In the second step, superpixels in the input/reference image are rematched to form a new superpixel-based bipartite graph, and superpixel-level correspondences are generated by a bipartite matching. Finally, the refined correspondence guides SuperBIG to perform the transformation in a decorrelated color space. Extensive experimental results demonstrate the effectiveness and robustness of the proposed method for transferring various styles of exemplar images, even for some challenging cases, such as night images.

연구 동기 및 목표

• 기존 스타일 전달 방법이 색상이나 질감과 같은 고립된 요소에만 초점을 맞추며 사진에서 종합적인 시각적 효과를 유지하지 못하는 한계를 해결하기 위해.
• 비전문가 사용자가 참조 이미지에서 풍부하고 다면적인 사진 스타일을 입력 이미지로 전달할 수 있도록 유연하고 자동화된 도구를 개발하기 위해.
• 콘텐츠와 스타일 간의 분리 가능성 가정을 넘어서, 색상, 대비, 조명을 포함한 종합적이고 콘텐츠 인식 시각 효과로서의 스타일을 모델링하기 위해.
• 특히 저조도 또는 고대비 사진과 같은 도전적인 입력에 대해 스타일 전달의 강건성과 시각적 품질을 향상시키기 위해.

제안 방법

• 밀도 있는 대응 관계와 계층적 특징(색상, 거리, 질감, 패치 강도, 기울기)을 사용하여 픽셀 수준의 이분할 그래프를 구성하고, 입력 이미지와 참조 이미지를 슈퍼픽셀로 분할한다.
• 이중 단계 이분할 그래프 알고리즘을 적용한다: 첫 번째 단계에서는 계층적 특징을 활용해 콘텐츠 유사도에 기반한 초기 슈퍼픽셀을 형성하고, 두 번째 단계에서는 슈퍼픽셀 수준의 이분할 매칭을 통해 글로벌 대응 관계를 수립한다.
• 전체 이미지에 걸쳐 일관성을 확보하고 局부 아티팩트를 줄이기 위해 슈퍼픽셀을 글로벌하게 재매칭함으로써 대응 관계를 정밀하게 보정한다.
• 정밀화된 슈퍼픽셀 수준의 대응 관계를 기반으로, 색상과 밝기 효과를 분리하는 데 유용한 비상관 색상 공간에서 스타일 변환을 수행한다.
• 딥 매칭에서 유도된 신뢰도 점수를 활용하여 신뢰할 수 있는 대응 관계를 우선순위로 배정하고, 모호한 영역에서의 강건성을 향상시킨다.
• 지역적 일관성과 글로벌 조율성을 균형 있게 유지하기 위해 색상, 거리, 질감, 패치 강도, 기울기 등의 다수 기본 특징을 계층적 특징 조합 방식으로 통합한다.

실험 결과

연구 질문

• RQ1 픽셀 수준 또는 패치 기반 방법과 비교할 때, 슈퍼픽셀 기반 이분할 그래프 접근 방식은 예시 기반 사진 스타일 전달의 강건성과 시각적 품질을 향상시키는가?
• RQ2 이중 단계 이분할 그래프 프레임워크는 다양한 이미지 조건에서 색상, 톤, 대비를 포함한 종합적 사진 스타일을 얼마나 효과적으로 유지하는가?
• RQ3 계층적 특징(색상, 질감, 기울기 등)이 정확한 슈퍼픽셀 형성과 대응 관계 매칭에 얼마나 기여하는가?
• RQ4 이 방법은 야경이나 복잡한 조명 조건을 가진 사진과 같은 도전적인 사진 입력에 일반화될 수 있는가?

주요 결과

• 사용자 연구에서 SuperBIG는 평균 순위 점수 1.15를 기록하여, 경쟁하는 여섯 가지 방법 대비 감각적 품질과 스타일 일관성에서 뚜렷이 뛰어난 성능을 보였다.
• 제거 실험을 통해 다수의 계층적 특징—특히 기울기와 패치 강도—를 조합함으로써 시각적 품질 향상과 잘못된 전달 감소에 기여하는 것으로 확인되었다.
• 슈퍼픽셀 수준의 이분할 매칭 단계는 픽셀 수준의 대응 결과에서 관찰된 국소적 불일치 및 아티팩트(예: 질감이 있는 하늘, 잘못된 색상 영역)를 줄였다.
• 다른 방법이 스타일 일관성을 유지하거나 자연스럽지 않은 결과를 낼 때, 이 방법은 도전적인 야경 이미지에서 강력한 강건성을 보였다.
• 계층적 특징과 글로벌 최적화의 활용은 정량적 지표와 사용자 선호도 연구를 통해 검증된 바, 더 정확하고 시각적으로 타당한 스타일 전달을 가능하게 했다.