[논문 리뷰] Multispectral Image Intrinsic Decomposition via Low Rank Constraint

Qian Huang, Weixin Zhu외 5명|arXiv (Cornell University)|2018. 02. 24.

Color Science and Applications참고 문헌 27인용 수 4

한 줄 요약

이 논문은 반사율과 조명 성분에 대한 저랭크 제약 조건을 도입하여 일반 조명 하에서 단일 다스펙트럴 이미지로부터 반사율과 조명을 분리하는 데 있어 애매한 문제를 해결하는 저랭크 다스펙트럴 영상 내재 분해(LRIID) 모델을 제안한다. 이 방법은 로그 변환을 피하고 영상 도메인에서 직접 작동함으로써 이전 방법에 비해 더 빠른 계산 속도와 향상된 정확도를 달성한다. 이는 12개의 다스펙트럴 영상으로 구성된 새로운 정답 데이터셋을 통해 검증되었다.

ABSTRACT

Multispectral images contain many clues of surface characteristics of the objects, thus can be widely used in many computer vision tasks, e.g., recolorization and segmentation. However, due to the complex illumination and the geometry structure of natural scenes, the spectra curves of a same surface can look very different. In this paper, a Low Rank Multispectral Image Intrinsic Decomposition model (LRIID) is presented to decompose the shading and reflectance from a single multispectral image. We extend the Retinex model, which is proposed for RGB image intrinsic decomposition, for multispectral domain. Based on this, a low rank constraint is proposed to reduce the ill-posedness of the problem and make the algorithm solvable. A dataset of 12 images is given with the ground truth of shadings and reflectance, so that the objective evaluations can be conducted. The experiments demonstrate the effectiveness of proposed method.

연구 동기 및 목표

• 일반 조명 조건 하에서 단일 다스펙트럴 영상으로부터 반사율과 조명을 분리하는 문제의 불안정성 문제를 해결하기 위해.
• 원래 RGB 영상에 대해 설계된 Retinex 모델을 다스펙트럴 영역으로 확장하기 위해.
• 반사율과 조명 영상의 저랭크 우선 사항을 활용하여 분해의 모호성을 줄이기 위해.
• 반사율과 조명의 정답을 제공하는 벤치마크 데이터셋을 제작하여 다스펙트럴 내재 분해 방법의 객관적 평가를 가능하게 하기 위해.
• 로그 변환 없이 영상 도메인에서 직접 작동하여 더 빠르고 정확한 분해를 달성하기 위해.

제안 방법

• 반사율과 조명을 이차형 성분으로 모델링하여 Retinex 모델을 다스펙트럴 영역으로 확장한다.
• 반사율 및 조명 행렬에 저랭크 제약 조건을 적용하여 해의 모호성을 줄이고 전역적 구조를 강제한다.
• Munsell 색상 차트에 대한 주성분 분석(PCA)을 통해 반사율 하위공간 기저를 유도한다.
• 조명 지식을 바탕으로 조명 기저를 유도하며, 조명 패턴의 스펙트럼 일관성을 가정한다.
• 교차 투영과 경사 하강법을 사용하여 초기화하는 볼록 최적화 문제로 분해를 해결한다.
• 로그 변환으로 인한 노이즈를 피하기 위해 저랭크 구조를 유지하는 영상 도메인에서 직접 작동한다.

실험 결과

연구 질문

• RQ1 저랭크 우선 사항이 본질적으로 불안정한 다스펙트럴 내재 분해 문제를 안정화하는 데 효과적으로 활용될 수 있는가?
• RQ2 RGB 기반 기존 방법에 비해 Retinex 모델을 다스펙트럴 데이터로 확장함으로써 반사율과 조명 복원 성능이 향상되는가?
• RQ3 로그 도메인 방법과 비교할 때 영상 도메인에서 직접 처리하는 것이 정확도와 노이즈 유지 측면에서 어떻게 다른가?
• RQ4 저랭크 제약 조건이 분해 품질과 계산 효율성에 얼마나 기여하는가?
• RQ5 새로운 정답 데이터셋이 다스펙트럴 내재 분해 알고리즘의 신뢰할 수 있는 정량적 평가를 가능하게 하는가?

주요 결과

• 제안된 LRIID 방법은 이미지당 평균 계산 시간을 이전의 SIID 방법의 10.971초에서 1.739초로 줄여 84%의 속도 향상을 달성하였다.
• LRIID는 이전의 SIID 방법 대비 평균 LMSE가 0.018로 감소하여 정확도 향상을 확인하였다.
• 스펙트럼 곡선 비교 결과, LRIID가 추정한 반사율이 정답과 유사하게 나타나 정확한 스펙트럼 복원을 확인하였다.
• 저랭크 제약 조건이 전역적 구조를 유지하고 잡음과 잔상 등을 줄여 분해 품질을 크게 향상시킴을 시각적 비교를 통해 입증하였다.
• 이 방법은 메모리 효율성이 뛰어나고 확장 가능하여 이전 방법보다 더 큰 영상과 더 많은 스펙트럼 대역을 처리할 수 있다.
• 12개의 다스펙트럴 영상으로 구성된 새로운 정답 데이터셋은 정량적 평가의 신뢰성을 보장하며 향후 내재 분해 알고리즘의 벤치마크를 촉진한다.