[논문 리뷰] A learning-based approach for automatic image and video colorization

Raj Kumar Gupta, Alex Yong-Sang Chia외 2명|arXiv (Cornell University)|2017. 04. 15.

Image Enhancement Techniques참고 문헌 5인용 수 5

한 줄 요약

이 논문은 슈퍼픽셀과 랜덤 포레스트 회귀를 사용하여 사용자 간섭 없이 자동으로 이미지 및 영상의 색조를 보정하는 학습 기반 방법을 제안한다. 기준 색상 이미지에서 회색조 슈퍼픽셀의 색채도 값을 예측하도록 훈련한 후, 투표와 최적화를 통해 정밀도를 향상시킴으로써 공간 일관성이 높고 경쟁력 있는 결과를 달성하며, 수동으로 그린 색상 스크래치가 필요 없이 다양한 이미지 및 영상(큰 운동이나 가림이 있는 경우)에서 최신 기술을 초월한다.

ABSTRACT

In this paper, we present a color transfer algorithm to colorize a broad range of gray images without any user intervention. The algorithm uses a machine learning-based approach to automatically colorize grayscale images. The algorithm uses the superpixel representation of the reference color images to learn the relationship between different image features and their corresponding color values. We use this learned information to predict the color value of each grayscale image superpixel. As compared to processing individual image pixels, our use of superpixels helps us to achieve a much higher degree of spatial consistency as well as speeds up the colorization process. The predicted color values of the gray-scale image superpixels are used to provide a 'micro-scribble' at the centroid of the superpixels. These color scribbles are refined by using a voting based approach. To generate the final colorization result, we use an optimization-based approach to smoothly spread the color scribble across all pixels within a superpixel. Experimental results on a broad range of images and the comparison with existing state-of-the-art colorization methods demonstrate the greater effectiveness of the proposed algorithm.

연구 동기 및 목표

• 수동으로 그린 색상 스크래치나 마스크를 제거하고 기준 이미지에서 자동으로 색상 전이를 통해 이미지 및 영상의 색조 보정에 필요한 사용자 간섭을 줄이거나 제거하는 것.
• 개별 픽셀이 아닌 슈퍼픽셀을 기반으로 처리하여 공간 일관성과 계산 효율성을 향상시키는 것.
• 큰 물체 이동이나 가림이 발생하는 영상 시퀀스에서도 효과적으로 작동하는 견고한 색조 보정 프레임워크를 개발하는 것.
• 공간적 위치나 세그멘테이션 입력이 필요 없이 기존 최신 기술 수준의 성능을 달성하거나 초월하는 자동 색조 보정을 가능하게 하는 것.

제안 방법

• 공간적으로 일관된 영역을 그룹화하기 위해 슈퍼픽셀 분할을 사용하여 계산 복잡도를 낮추고 공간 일관성을 향상시킨다.
• 로컬 외관과 이웃 환경을 기반으로 각 슈퍼픽셀에서 특징을 추출하여 질감과 구조를 표현한다.
• 기준 색상 이미지를 처리하여 슈퍼픽셀의 정량화된 색상 레이블을 계산하고, 이는 랜덤 포레스트 회귀기의 훈련 데이터로 사용된다.
• 훈련된 랜덤 포레스트가 각 회색조 이미지 슈퍼픽셀의 색채도(전체 RGB가 아님)를 예측하여 슈퍼픽셀 중심지점에 마이크로 스크래치를 생성한다.
• 투표 기반의 정밀도 향상 단계에서 유사한 슈퍼픽셀을 융합하여 색상 스크래치 정확도를 높이고 노이즈를 감소시킨다.
• 최적화 기반의 색상 전파 기법을 통해 정밀도를 높인 마이크로 스크래치를 슈퍼픽셀 전체에 걸쳐 부드럽게 전파하여 최종 색조 보정 이미지를 생성한다.

실험 결과

연구 질문

• RQ1 학습 기반 접근법이 사용자 지정 색상 스크래치나 마스크 없이 고성능 자동 색조 보정을 달성할 수 있는가?
• RQ2 개별 픽셀 대신 슈퍼픽셀을 사용할 경우 자동 색조 보정에서 공간 일관성과 계산 효율성에 어떤 영향을 미치는가?
• RQ3 기준 이미지에서 훈련된 랜덤 포레스트 모델이 미리 보지 않은 회색조 이미지의 정확한 색채도 값을 얼마나 잘 일반화하여 예측할 수 있는가?
• RQ4 큰 이동이나 가림이 발생하는 영상 시퀀스에서 이 기법은 전통적인 옵티컬 플로우 기반 방법이 실패하는 상황에서도 얼마나 잘 작동하는가?

주요 결과

• 제안된 방법은 실제 이미지와 시각적으로 유사한 색조 보정 결과를 달성하며, 사용자 입력이 필요한 몇몇 최신 기술보다도 뛰어난 성능을 보였다.
• 수동으로 색상 스크래치나 세그멘테이션을 입력할 필요 없이 기준 색상 이미지 하나 이상만으로도 사용자 노력의 상당한 감소를 이룰 수 있었다.
• 슈퍼픽셀의 사용은 픽셀 수준의 방법에 비해 더 높은 공간 일관성과 더 빠른 처리 속도를 가능하게 하면서도 높은 시각적 품질을 유지했다.
• 큰 물체 이동이나 가림이 발생하는 영상 간에도 이 기법은 옵티컬 플로우 기반 접근법이 일반적으로 실패하는 상황에서도 효과적으로 색상 전이를 수행했다.
• 복잡하거나 질감이 뚜렷한 영역에서는 스크래치 정밀도 향상 단계에서 소량의 사용자 상호작용(예: 세그먼트 융합)이 결과를 더욱 향상시켰다.