[論文レビュー] Multispectral Image Intrinsic Decomposition via Low Rank Constraint

Qian Huang, Weixin Zhu+5 more|arXiv (Cornell University)|Feb 24, 2018

Color Science and Applications参考文献 27被引用数 4

ひとこと要約

本稿では、反射率と照 shadeの低ランク制約を両方とも課すことにより、一般照明下における1枚のマルチスペクトル画像から反射率と照 shadeを分解する、不適切な問題を解消するための低ランクマルチスペクトル画像内在的分解（LRIID）モデルを提案する。この手法は画像ドメインで直接処理を行い、対数変換を回避することで、従来手法よりも高速かつ高精度な計算を達成している。新規の真値データセット（12枚のマルチスペクトル画像）を用いた検証により、有効性が裏付けられている。

ABSTRACT

Multispectral images contain many clues of surface characteristics of the objects, thus can be widely used in many computer vision tasks, e.g., recolorization and segmentation. However, due to the complex illumination and the geometry structure of natural scenes, the spectra curves of a same surface can look very different. In this paper, a Low Rank Multispectral Image Intrinsic Decomposition model (LRIID) is presented to decompose the shading and reflectance from a single multispectral image. We extend the Retinex model, which is proposed for RGB image intrinsic decomposition, for multispectral domain. Based on this, a low rank constraint is proposed to reduce the ill-posedness of the problem and make the algorithm solvable. A dataset of 12 images is given with the ground truth of shadings and reflectance, so that the objective evaluations can be conducted. The experiments demonstrate the effectiveness of proposed method.

研究の動機と目的

• 一般照明下における1枚のマルチスペクトル画像から反射率と照 shadeを分解する、本質的に不適切な問題に対処すること。
• 元来RGB用に設計されたRetinexモデルをマルチスペクトルドメインに拡張すること。
• 反射率と照 shade画像の低ランク事前知識を活用することで、分解の曖昧さを低減すること。
• 反射率と照 shadeの真値を備えたベンチマークデータセットを提供し、マルチスペクトル内在的分解手法の客観的評価を可能にすること。
• 対数変換を回避する画像ドメインでの直接処理により、より高速かつ高精度な分解を実現すること。

提案手法

• 反射率と照 shadeを二重線形成分としてモデル化することで、Retinexモデルをマルチスペクトルドメインに拡張する。
• 反射率と照 shade行列の両方に低ランク制約を適用し、解の曖昧さを低減し、グローバル構造を強調する。
• Munsell色チャートを用いた主成分分析（PCA）により、反射率部分空間の基底を導出する。
• 照明の知識をもとに、照 shadeパターンのスペクトル的一致性を仮定し、照 shade基底を導出する。
• 交互射影法と勾配降下法を用いた初期化により、凸最適化問題として分解を解く。
• 対数変換によるノイズを回避し、低ランク構造を保持するため、画像ドメインで直接処理を行う。

実験結果

リサーチクエスチョン

• RQ1 低ランク事前知識は、本質的に不適切なマルチスペクトル内在的分解問題の安定化に効果的に活用可能か？
• RQ2 RGBベースの従来手法と比較して、Retinexモデルをマルチスペクトルデータに拡張することで、反射率と照 shadeの回復が向上するか？
• RQ3 対数ドメイン手法と比較して、画像ドメインでの直接処理は、精度とノイズ保持の観点で優れているか？
• RQ4 低ランク制約は、分解品質と計算効率の両面でどの程度向上をもたらすか？
• RQ5 新規の真値データセットは、マルチスペクトル内在的分解アルゴリズムの信頼できる定量的評価を可能にするか？

主な発見

• 提案されたLRIID手法により、1枚あたりの平均計算時間がSIIDの10.971秒から1.739秒に短縮され、84％の高速化が達成された。
• LMSEの平均値が従来のSIID手法の0.024から0.018に低下し、精度の向上が確認された。
• スペクトル曲線の比較から、LRIIDが推定する反射率は真値に非常に近いことが示され、正確なスペクトル再構成が可能であることが確認された。
• 低ランク制約により、グローバル構造を保持しアーチファクトを低減することで、分解品質が著しく向上していることが、制約有り・無しの可視的比較から明らかになった。
• メモリ効率が高く、スケーラブルであり、従来手法よりも多くのスペクトルバンドやより大きな画像を処理可能である。
• 12枚のマルチスペクトル画像から構成される新規の真値データセットにより、信頼性のある定量的評価が可能となり、今後の内在的分解アルゴリズムのベンチマーク化が促進される。