[논문 리뷰] Joint Intensity-Gradient Guided Generative Modeling for Colorization

Kai Hong, Jin Li외 5명|arXiv (Cornell University)|2020. 12. 28.

Generative Adversarial Networks and Image Synthesis참고 문헌 59인용 수 5

한 줄 요약

이 논문은 강도와 기울기 정보를 동시에 활용하여 색상화 품질을 향상시키는 통합 강도-기울기 유도 생성 모델을 제안한다. 고차원 강도-기울기 텐서에 대해 노이즈 조건부 스코어 네트워크를 훈련하고 통합 데이터 일관성 제약 조건을 적용함으로써, 모서리 색상 번짐을 감소시키고 정량적 지표와 사용자 연구에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

This paper proposes an iterative generative model for solving the automatic colorization problem. Although previous researches have shown the capability to generate plausible color, the edge color overflow and the requirement of the reference images still exist. The starting point of the unsupervised learning in this study is the observation that the gradient map possesses latent information of the image. Therefore, the inference process of the generative modeling is conducted in joint intensity-gradient domain. Specifically, a set of intensity-gradient formed high-dimensional tensors, as the network input, are used to train a powerful noise conditional score network at the training phase. Furthermore, the joint intensity-gradient constraint in data-fidelity term is proposed to limit the degree of freedom within generative model at the iterative colorization stage, and it is conducive to edge-preserving. Extensive experiments demonstrated that the system outperformed state-of-the-art methods whether in quantitative comparisons or user study.

연구 동기 및 목표

• 자동 이미지 색상화에서 지속적인 문제인 모서리 색상 번짐과 參考 이미지에 대한 의존성을 해결하기 위해.
• 기울기 맵에서 잠재 정보를 탐색하여 비지도 방식으로 생성 모델링을 유도하기 위해.
• 생성 과정에서 강도와 기울기 특징을 통합적으로 모델링하여 모서리 보존과 색상 정확도를 향상시키기 위해.
• 모델의 자유도를 제한하면서도 구조적 세부 정보를 유지하는 데이터 일관성 제약 조건을 개발하기 위해.
• 참고 이미지를 요구하지 않으면서도 기존 방법들보다 뛰어난 성능을 달성하기 위해.

제안 방법

• 생성 모델의 입력으로 강도 맵과 기울기 맵으로부터 형성된 고차원 텐서를 사용한다.
• 이러한 통합 강도-기울기 특징에 대해 노이즈 조건부 스코어 네트워크를 훈련시어 데이터 분포를 모델링한다.
• 반복적인 색상화 과정에서 통합 강도-기울기 제약 조건을 데이터 일관성 항목에 도입하여 모서리를 보존한다.
• 학습된 스코어 네트워크를 활용하여 단계적으로 자연스러운 색상 결과를 생성하는 반복적 색상화 과정을 수행한다.
• 모델은 참조 이미지가 필요 없는 비지도 방식으로 작동한다.
• 통합 강도-기울기 공간에서 노이즈 제거 스코어 매칭 목적함수를 사용하여 엔드 투 엔드로 프레임워크를 훈련시킨다.

실험 결과

연구 질문

• RQ1 기울기 맵이 參考 이미지 없이도 충분한 구조적 유도 정보를 제공할 수 있는가?
• RQ2 강도와 기울기 특징을 통합적으로 모델링할 경우 생성 색상화에서 모서리 보존에 어떤 영향을 미치는가?
• RQ3 통합 데이터 일관성 제약 조건을 가진 스코어 기반 생성 모델이 모서리 색상 번짐을 줄일 수 있는가?
• RQ4 제안된 방법이 정량적 및 정성적 평가 모두에서 기존 최신 기술 수준의 방법들을 능가하는가?
• RQ5 통합 강도-기울기 표현이 생성 모델링 능력을 어느 정도 향상시키는가?

주요 결과

• 제안된 방법은 정량적 벤치마크에서 최신 기술 수준의 방법들을 능가하여 색상화 품질 측면에서 뛰어난 성능을 보였다.
• 사용자 연구 결과, 기존 방법들과 비교해 생성된 색상이 더 자연스럽고 시각적으로 선호됨을 확인하였다.
• 통합 강도-기울기 제약 조건은 모서리 색상 번짐을 크게 감소시켜 출력 결과의 날카로운 경계를 유지하는 데 기여하였다.
• 참고 이미지가 필요 없이도 강력한 성능을 달성하여 완전히 비지도 색상화를 실현하였다.
• 광범위한 아블레이션 연구를 통해 통합 모델링 및 데이터 일관성 제약 조건 구성 요소의 효과성을 검증하였다.
• 다양한 이미지 카테고리와 복잡한 무늬에 걸쳐 뛰어난 강인성을 보였다.