[논문 리뷰] Pixel-level Semantics Guided Image Colorization

Jiaojiao Zhao, Li Liu외 3명|arXiv (Cornell University)|2018. 08. 05.

Generative Adversarial Networks and Image Synthesis인용 수 6

한 줄 요약

이 논문은 계층적 딥 네ural 네트워크를 사용하여 픽셀 수준의 의미 정보를 기반으로 한 이미지 색상화 방법을 제안한다. 이는 의미 분할과 색상화 손실을 동시에 최적화하여 맥락 혼동과 에지 색상 번짐을 크게 줄인다. 세밀한 물체 의미 정보를 통합하고, 공동 이중 보간 레이어를 적용함으로써 기존 최고 수준의 접근 방식보다 더 현실적이며 세밀하고 자연스러운 색상화된 이미지를 생성한다.

ABSTRACT

While many image colorization algorithms have recently shown the capability of producing plausible color versions from gray-scale photographs, they still suffer from the problems of context confusion and edge color bleeding. To address context confusion, we propose to incorporate the pixel-level object semantics to guide the image colorization. The rationale is that human beings perceive and distinguish colors based on the object's semantic categories. We propose a hierarchical neural network with two branches. One branch learns what the object is while the other branch learns the object's colors. The network jointly optimizes a semantic segmentation loss and a colorization loss. To attack edge color bleeding we generate more continuous color maps with sharp edges by adopting a joint bilateral upsamping layer at inference. Our network is trained on PASCAL VOC2012 and COCO-stuff with semantic segmentation labels and it produces more realistic and finer results compared to the colorization state-of-the-art.

연구 동기 및 목표

• 더 정확한 색상 할당을 위해 자동 이미지 색상화에서 맥락 혼동 문제를 픽셀 수준의 물체 의미 정보를 활용하여 해결하기 위해.
• 딥 러닝 기반 색상화에서 추론 시 스케일 변동으로 인한 에지 색상 번짐 문제를 완화하기 위해.
• 의미 분할에서 유도된 이동 불변 표현을 색상화 과정에 통합하여 색상화의 현실성 향상하기 위해.
• 의미 분할 및 색상화 목표를 동시에 최적화하여 벤치마크 데이터셋에서 뛰어난 성능을 달성하기 위해.
• 기존 방법들과 비교해 더 자연스럽고 채도가 높으며 에지 보존 성능이 뛰어난 색상화된 이미지를 생성하기 위해.

제안 방법

• 이중 브랜치 계층적 신경망을 설계: 한 브랜치는 픽셀 수준의 의미 분할을 수행하고, 다른 브랜치는 각 픽셀의 색상 분포를 예측한다.
• 의미 분할 손실과 색상화 손실의 두 가지 손실 함수를 함께 사용하여 엔드 투 엔드 최적화를 가능하게 한다.
• 추론 단계에서 공동 이중 보간 레이어를 도입하여 더 부드럽고 선명한 색상 맵을 생성하면서도 에지 세부 정보를 유지한다.
• 풍부한 물체별 색상 사전 지식을 학습하기 위해 PASCAL VOC2012와 COCO-Stuff에서 밀도 있는 의미 분할 레이블을 사용해 사전 훈련한다.
• 고해상도 색상 출력을 복구하기 위해 딥 컨volution 특징과 디컨volution 레이어를 활용한 아키텍처를 설계한다.
• 픽셀 수준의 레이블에서 온 의미 감독은 모델이 물체 카테고리 간을 구분하고 의미적으로 타당한 색상을 할당하는 데 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 픽셀 수준의 의미 이해는 이미지 색상화에서 맥락 혼동을 줄이는 데 기여하는가?
• RQ2 딥 러닝 기반 색상화에서 다양한 입력 스케일 간의 에지 색상 번짐을 어떻게 최소화할 수 있는가?
• RQ3 의미 분할과 색상화의 공동 최적화는 생성된 색상 이미지의 현실성과 세부 사항을 향상시키는가?
• RQ4 세밀한 의미 사전 지식을 통합할 경우, 이미지 수준 또는 전반적인 의미 사전 지식보다 성능이 뛰어나다는가?
• RQ5 제안된 공동 이중 보간 레이어는 표준 전치 컨volution 보간 방식보다 색상 경계를 더 잘 보존하는가?

주요 결과

• 제안된 방법은 PASCAL VOC2012와 COCO-Stuff 데이터셋을 통합한 평가에서 자연스러움 점수 94.89%를 기록하여 기존 최고 수준의 방법들을 크게 앞서 간다.
• 채도 점수 95.70%는 제안된 방법이 경쟁 방법보다 더 생생하고 빛나는 색상을 생성함을 나타내며, 빌드된 색상이 더 매력적으로 보임을 의미한다.
• 의미 정확도가 94.10%에 도달하여 모델이 물체 카테고리에 부합하는 색상을 할당함으로써 의미 혼동을 줄였음을 입증한다.
• 에지 유지 성능 94.80%는 공동 이중 보간 레이어가 날카운 색상 전환을 유지하는 데 효과적이라는 것을 확인한다.
• 사람 평가 결과, 제안된 방법은 현실성, 색상 채도, 구조적 충실도 측면에서 기준 이미지에 더 가까운 결과를 보였다.
• 실패 사례 분석을 통해 희귀 물체 카테고리(예: 황제새, 보석)에서의 한계와 소형 물체 혼동 문제를 확인하였으며, 이는 더 세밀한 의미 분할 클래스가 필요함을 시사한다.