[論文レビュー] VommaNet: an End-to-End Network for Disparity Estimation from Reflective and Texture-less Light Field Images

Haoxin Ma, Haotian Li+3 more|arXiv (Cornell University)|Nov 17, 2018

Advanced Vision and Imaging被引用数 7

ひとこと要約

VommaNet は、アトラス畳み込みと特徴マップのピラミッドを用いてマルチスケール特徴を活用することで、光場画像の反射的・テクスチャレスな領域における視差推定を向上させるエンドツーエンドのディーブラーニングネットワークである。HCI 4D Light Field Benchmark において、比較手法の中で最小の平均二乗誤差 (MSE) 2.218 × 10⁻² を達成し、最先端の性能を発揮した。

ABSTRACT

The precise combination of image sensor and micro-lens array enables lenslet light field cameras to record both angular and spatial information of incoming light, therefore, one can calculate disparity and depth from light field images. In turn, 3D models of the recorded objects can be recovered, which is a great advantage over other imaging system. However, reflective and texture-less areas in light field images have complicated conditions, making it hard to correctly calculate disparity with existing algorithms. To tackle this problem, we introduce a novel end-to-end network VommaNet to retrieve multi-scale features from reflective and texture-less regions for accurate disparity estimation. Meanwhile, our network has achieved similar or better performance in other regions for both synthetic light field images and real-world data compared to the state-of-the-art algorithms. Currently, we achieve the best score for mean squared error (MSE) on HCI 4D Light Field Benchmark.

研究の動機と目的

• 従来のアルゴリズムが困難に感じる光場画像の反射的・テクスチャレスな領域における不正確な視差推定の課題に対処すること。
• 通常領域、反射的領域、テクスチャレス領域を含むすべての領域で高い精度を維持するエンドツーエンドのディープラーニングモデルの開発。
• マルチスケールのアトラス畳み込みによる受容 field の拡大を通じて、低テクスチャおよび高反射領域における特徴表現の向上。
• Depthwise Separable Convolution とバッチ正規化を用いてパラメータ数と計算負荷を低減しながら、性能を維持すること。
• 最先端の手法と比較して、合成データおよび実世界の光場データの両方で優れた性能を達成すること。

提案手法

• レンズレット光場カメラからの角度および空間情報の完全な活用を図るため、ネットワークはすべてのサブアパーチャー画像 (SAIs) を入力とする。
• 初期層で複数のレートのアトラス畳み込みを用いてマルチスケール特徴ピラミッドを構築し、反射的・テクスチャレス領域における文脈モデリングのための受容 field を拡大する。
• パrameter数と計算負荷の低減を図るため、Depthwise Separable Convolution とバッチ正規化を採用する。
• 視差マップの精度とエッジのシャープネスを向上させるために、平均絶対誤差 (MAE)、勾配損失、法線一貫性損失を組み合わせたマルチタスク損失関数を採用する。
• 損失関数は以下の通り定義される：$\text{loss} = \lambda_1 l_{\text{MAE}} + \lambda_2 l_{\text{grad}} + \lambda_3 l_{\text{normal}}$、ここで $\lambda_1 = \lambda_2 = \lambda_3 = 1$。
• 限られた学習データを考慮し、一般化性能の向上を図るため、反転、色反転、クロッピングによるデータ拡張を適用する。

実験結果

リサーチクエスチョン

• RQ1 従来の手法が失敗する光場画像の反射的・テクスチャレスな領域において、ディープラーニングモデルが頑健な視差推定を達成できるか？
• RQ2 低テクスチャおよび高反射領域における視差予測を向上させるために、どのようにマルチスケールの文脈的特徴を効果的に捉えることができるか？
• RQ3 エンドツーエンドのネットワークは、合成データおよび実世界の光場データの両方で、最先端の手法を同等以上に維持または上回る性能を発揮できるか？
• RQ4 入力サブアパーチャー画像数の増加が視差推定精度に与える影響は何か？また、異なる数の入力画像に対してもモデルは汎用性を示せるか？
• RQ5 マルチタスク損失関数の組み合わせが、視差マップの品質とエッジの一貫性にどのように寄与するか？

主な発見

• VommaNet は、HCI 4D Light Field Benchmark において、2.218 × 10⁻² の最小の平均二乗誤差 (MSE) を達成し、[36]（3.968 × 10⁻²）および [31]（2.521 × 10⁻²）を上回った。
• 合成データにおいて、VommaNet はボトルの表面やチェアの脚など、反射的・テクスチャレス領域において、既存手法と比較して著しく正確な視差マップを生成した。
• Lytro Illum カメラで撮影された実世界の光場データにおいて、VommaNet は他の手法が誤った値を生成する可能性のある頭蓋骨の後部のような反射領域でも、エッジを明確に保ち、滑らかで正確な結果を出力した。
• 推論時間は [31]（2.041s）とほぼ同等の 2.043s を維持しており、精度向上にもかかわらず、効率的な推論を実現していることが示された。
• 入力 SAI の数が増加するにつれて性能が向上し、より多くの角度情報が利用可能になるとモデルのスケーラビリティが裏付けられた。
• 一方で、モデルは反射的・テクスチャレス領域では優れた性能を発揮するが、細かな物体のディテールがぼやける傾向にあり、悪影響を及ぼす悪影響（bad pixel metrics）が高くなるというトレードオフが見られた。