[論文レビュー] Rehabilitating the ColorChecker Dataset for Illuminant Estimation

Ghalia Hemrit, Graham D. Finlayson+6 more|arXiv (Cornell University)|May 30, 2018

Color Science and Applications被引用数 3

ひとこと要約

この論文は、色温度推定のベンチマークとして広く使われているColorCheckerデータセットにおける、複数の不一致する正例と計算誤りを含む深刻な欠陥を特定している。著者らは、ShiとFuntの手法に基づき、検証済みのコードを用いて修正された「推奨される」正例（REC）を提案し、従来の正例に基づくアルゴリズム順位付けが信頼できず、しばしば新しい基準では逆転することを示しており、今後のベンチマーク用途に向けたデータセットの再生可能性を確立している。

ABSTRACT

In a previous work, it was shown that there is a curious problem with the benchmark ColorChecker dataset for illuminant estimation. To wit, this dataset has at least 3 different sets of ground-truths. Typically, for a single algorithm a single ground-truth is used. But then different algorithms, whose performance is measured with respect to different ground-truths, are compared against each other and then ranked. This makes no sense. We show in this paper that there are also errors in how each ground-truth set was calculated. As a result, all performance rankings based on the ColorChecker dataset - and there are scores of these - are inaccurate. In this paper, we re-generate a new 'recommended' set of ground-truth based on the calculation methodology described by Shi and Funt. We then review the performance evaluation of a range of illuminant estimation algorithms. Compared with the legacy ground-truths, we find that the difference in how algorithms perform can be large, with many local rankings of algorithms being reversed. Finally, we draw the readers attention to our new 'open' data repository which, we hope, will allow the ColorChecker set to be rehabilitated and once again to become a useful benchmark for illuminant estimation algorithms.

研究の動機と目的

• 色温度推定のベンチマークとして用いられるColorCheckerデータセットにおける正例の色温度値に存在する一貫性の欠如を特定・是正すること。
• 性能順位の信頼性を損なう複数の矛盾する正例セット（SFU、Gt1、Gt2）の問題を解決すること。
• ShiとFuntの手法に基づき、過去の計算誤りを是正した透明性があり再現可能な正例を、ColorCheckerデータセットに明確に確立すること。
• 新しく推奨される正例（REC）を用いて23の色温度推定アルゴリズムの性能を再評価し、従来の正例セットと比較すること。
• 今後の色温度推定研究の基準ベンチマークとして、新規REC正例の採用を促進すること。

提案手法

• 透明性と再現性を確保するため、独自のオープンソースコードを用いてShiとFuntの正例計算手法を再実装すること。
• 過去の正例計算に起因する具体的な誤りを特定・是正し、特に誤ったバウンディングボックス検出と、白色点推定に用いられるグレー色パッチの不均一な選択を是正すること。
• 修正されたShiとFunt手法の適用に基づき、ColorCheckerデータセットの568枚の画像に対して、新たな推奨正例（REC）セットを生成すること。
• 色度分布プロットと統計的分析を用いて、REC正例と既存の従来正例（SFU、Gt1、Gt2）を比較すること。
• REC正例を用いて23の色温度推定アルゴリズムの性能を再評価し、SFUおよびGt1に基づく順位と比較すること。
• 新規REC正例と関連コードを、コミュニティが自由にアクセス可能なオープンリポジトリに公開し、継続的な検証と改善を可能にすること。

実験結果

リサーチクエスチョン

• RQ1 なぜ、ColorCheckerデータセットの異なる正例セットを用いた評価において、色温度推定アルゴリズムの性能順位が著しく異なるのか？
• RQ2 従来正例の計算に起因する具体的な誤りは何か？ それらがアルゴリズム性能順位の不一致と信頼性の欠如を引き起こす理由は？
• RQ3 提案された推奨正例（REC）は、色度分布および一貫性の観点で、既存の正例とどのように比較されるか？
• RQ4 REC正例を用いた場合、従来正例と比較してアルゴリズム順位はどの程度変化するか？
• RQ5 提案されたREC正例は、今後の色温度推定研究のための安定的で信頼性があり、オープンなベンチマークとして機能できるか？

主な発見

• 従来正例（SFU、Gt1、Gt2）は一貫性がなく、誤ったバウンディングボックスやRGBチャネル間で不均一な白色点選択を含む計算誤りを含んでいる。
• 新規推奨正例（REC）はSFUとよく一致するが、特定の外れ値を是正しており、より正確で一貫性のあるデータセットとなっている。
• Gt1を用いた評価とRECを用いた評価では、アルゴリズムの性能順位が著しく異なる。Gt1では上位5位にランクされたアルゴリズムが、RECでは最下位に近い順位となっている。
• Fast Fourier Color ConstancyやCNNを用いたDeep Color Constancyといったアルゴリズムは、RECでは1位と6位にランクされたが、Gt1では15位と1位にランクされた。これは、学習データバイアスが性能評価に影響を与えていることを示している。
• RECとSFUの中央値角度誤差順位はほぼ同一であり、RECがSFUの信頼できる是正であることを確認しているが、Gt1は著しく異なる誤った結果を生じさせている。
• 本研究は、複数の正例を用いた従来の性能評価が根本的に誤りであることを示しており、REC正例はColorCheckerデータセットに対して、一貫性があり決定的なベンチマークを提供するものである。