[논문 리뷰] Two Decades of Colorization and Decolorization for Images and Videos

Shiguang Liu|arXiv (Cornell University)|2022. 04. 28.

Advanced Image Processing Techniques인용 수 6

한 줄 요약

이 논문은 이미지 및 비디오의 색상화 및 회색조화 기법에 대해 20년에 걸친 종합적인 리뷰를 제공하며, 반자동, 자동, 딥 러닝 기반 방법을 포함한다. 공간-시간 일관성 유지에 있어 특히 비디오 회색조화에서의 주요 발전을 강조하고 있으며, 효율성, 평가 지표, 데이터셋 확장성 등의 과제를 밝혀낸다.

ABSTRACT

Colorization is a computer-aided process, which aims to give color to a gray image or video. It can be used to enhance black-and-white images, including black-and-white photos, old-fashioned films, and scientific imaging results. On the contrary, decolorization is to convert a color image or video into a grayscale one. A grayscale image or video refers to an image or video with only brightness information without color information. It is the basis of some downstream image processing applications such as pattern recognition, image segmentation, and image enhancement. Different from image decolorization, video decolorization should not only consider the image contrast preservation in each video frame, but also respect the temporal and spatial consistency between video frames. Researchers were devoted to develop decolorization methods by balancing spatial-temporal consistency and algorithm efficiency. With the prevalance of the digital cameras and mobile phones, image and video colorization and decolorization have been paid more and more attention by researchers. This paper gives an overview of the progress of image and video colorization and decolorization methods in the last two decades.

연구 동기 및 목표

• 지난 20년간 개발된 이미지 및 비디오 색상화 및 회색조화 방법에 대한 체계적인 개요 제공.
• 사용자 상호작용에서 완전 자동 및 딥 러닝 기반 접근법으로의 진화 분석.
• 계산 효율성, 비디오 처리에서의 시간적 일관성, 객관적 평가 지표 부족 등의 핵심 과제 식별.
• 딥 러닝 기반 색상화 및 회색조화 기법을 발전시키기 위해 대규모 고품질 데이터셋이 필요하다는 점 강조.
• 특히 비디오 회색조화에서 떨림 현상과 시간적 일관성 결여가 심각한 문제이므로, 인지적 일관성의 역할 탐색.

제안 방법

• 스티블 기반 최적화, 예시에서의 색상 전이 등 반자동 색상화 방법과 딥 러닝 기반 자동 방법으로 이미지 색상화를 분류.
• 구성요소, 최대값, 평균, 가중 평균 방법 등 고전적 이미지 회색조화 기법을 검토하며, 인지적 품질을 유지하는 데서의 한계를 강조.
• 전역 및 국소 회색조화 전략을 분석하며, 밝기 유지와 색채 세부 정보 복원 간 균형을 이루는 방법에 집중.
• 시간적 일관성을 강제하는 비디오 회색조화 기법을 분석하며, 양면 필터링 기반 잔차 재구성 및 근접도 기반 프레임 분류 포함.
• CNN-LSTM 아키텍처를 사용한 딥 러닝 기반 비디오 회색조화를 소개하며, 국소 의미 인코더와 양방향 RNN이 공간-시간 일관성을 유지하는 데 기여.
• 프레임 간 근접도 기반으로 비디오 프레임을 분류하고, 적합한 회색조화 전략을 적용하여 시간적 일관성을 유지하는 데 목적이 있는 회색조화 가우시안 혼합 모델(DC-GMM)을 활용한 프레임워크 제안.

실험 결과

연구 질문

• RQ1 지난 20년간 사용자 상호작용 기반 및 자동 색상화 기법은 성능과 효율성 측면에서 어떻게 진화해왔는가?
• RQ2 비디오 회색조화 과정에서 시간적 일관성을 유지하는 데 있어 주요 과제는 무엇이며, 현대적 기법들은 이를 어떻게 해결하는가?
• RQ3 딥 러닝 기반 접근법은 고전적 방법에 비해 이미지 및 비디오 회색조화의 품질과 효율성에서 어느 정도 향상되는가?
• RQ4 비디오 프레임 간 인지적 유사성이 떨림 감소 및 시간적 일관성 향상에 기여하는 방식은 무엇인가?
• RQ5 현재 평가 관행의 주요 격차는 무엇이며, 더 객관적인 지표와 대규모 데이터셋은 이 분야의 발전에 어떻게 기여할 수 있는가?

주요 결과

• 스티블 또는 예시에서의 색상 전이를 활용한 반자동 색상화는 높은 품질의 결과를 낼 수 있지만, 사용자 입력이 많아져 확장성에 제약이 있다.
• 명도 기반 변환과 같은 고전적 회색조화 방법은 인지적으로 중요한 대비 및 질감 세부 정보를 유지하지 못하는 경향이 있다.
• 양면 필터링 기반의 회색조화 방법은 잔차 이미지를 모델링하여 상실된 대비를 효과적으로 복구하고, 프레임 변동에 강건하여 시간적 일관성을 유지한다.
• DC-GMM를 활용한 근접도 기반 비디오 회색조화는 프레임 간에 적응형 전략 선택이 가능하여 고, 중, 저근접도 시퀀스 모두에서 품질 향상을 이룬다.
• CNN 및 LSTM 네트워크를 사용한 딥 러닝 기반 비디오 회색조화는 국소 의미를 모델링하고 장거리 의존성을 파악함으로써 뛰어난 시간적 일관성을 달성한다.
• 진전이 있었음에도 불구하고, 현재 기법들은 고해상도 비디오의 실시간 처리에 어려움을 겪고 있으며, 색상화 및 회색조화 품질에 대한 표준화되고 객관적인 평가 지표가 부족하다.