[論文レビュー] Large-Scale 3D Scene Classification With Multi-View Volumetric CNN

Dror Aiger, Brett L. Allen+1 more|arXiv (Cornell University)|Dec 26, 2017

Remote Sensing and LiDAR Applications参考文献 15被引用数 5

ひとこと要約

本論文は、複数の深度平面における画像投影を用いて大規模3Dシーン分類を実現するマルチビュー体積畳み込みニューラルネットワーク（CNN）を提案する。境界のアノテーションが不要な状態で、水や木といった複雑な素材のピクセル単位分類を正確に実現可能である。本手法はマルチビュー画素相関を活用することで、3Dボリューム学習を用い、Inception-V3を上回る96.3％のテスト精度を達成し、最先端の性能を実現した。

ABSTRACT

We introduce a method to classify imagery using a convo- lutional neural network (CNN) on multi-view image pro- jections. The power of our method comes from using pro- jections of multiple images at multiple depth planes near the reconstructed surface. This enables classification of categories whose salient aspect is appearance change un- der different viewpoints, such as water, trees, and other materials with complex reflection/light response proper- ties. Our method does not require boundary labelling in images and works on pixel-level classification with a small (few pixels) context, which simplifies the cre- ation of a training set. We demonstrate this application on large-scale aerial imagery collections, and extend the per-pixel classification to robustly create a consistent 2D classification which can be used to fill the gaps in non- reconstructible water regions. We also apply our method to classify tree regions. In both cases, the training data can quickly be generated using a small number of manually- created polygons on a map. We show that even with a very simple and standard network our CNN outperforms the state-of-the-art image classification, the Inception-V3 model retrained from a large collection of aerial images.

研究の動機と目的

• スペキュラー反射や動きによるステレオ再構築の失敗が頻発する大規模3D再構築において、水や木といった複雑な素材を分類する課題に対処する。
• 地図上のスパarselyポリゴンアノテーションのみを用いることで、大規模で完全にアノテートされた学習データセットへの依存を低減し、弱い教師付き学習を可能にする。
• 一貫性のある2D分類マスクを用いて、3Dモデル内のノイジーまたは欠損した水領域を検出し、埋めることで再構築品質を向上させる。
• 同じマルチビュー体積CNNフレームワークを用いて、水以外の素材（例：木）に対しても一般化可能であることを示す。

提案手法

• 複数の入力画像を複数の深度平面に沿って3Dフォトコヒーレンスボリュームに投影し、マルチビュー体積特徴を生成する。
• これらのボリューム表現上で3次元畳み込みニューラルネットワーク（CNN）を学習させ、マルチビュー画素相関に基づき各3次元点を分類する。
• 地図上のスパarselyポリゴンアノテーションを用いて弱い教師付き学習データを生成し、ピクセル単位の境界ラベル付けを回避する。
• すべてのビューからのピクセル分類スコアを、3次元点を介した確率統合により一貫性のある2次元マスクに統合する。
• 水分類のため、マスク境界からのロバストな水位推定を実行し、ノイジーな再構築幾何学を滑らかな表面に置き換える。
• 1枚の画像の外観ではなく、複数ビューの特徴相互作用から学習することで、3D CNNが複雑な反射関数をモデル化する能力を活用する。

実験結果

リサーチクエスチョン

• RQ1 複雑な反射特性（水や木など）を有する素材の3Dシーン分類において、マルチビュー体積CNNは単一画像手法に比べて分類精度を向上させることができるか？
• RQ2 地図上でのスパarselyポリゴンアノテーションのみを用いた弱い教師付き学習は、アノテーション作業量をどれほど削減しつつも、高い分類精度を維持できるか？
• RQ3 本手法は、大規模空中画像における水領域の再構築アーティファクトを検出し、効果的に埋めることができるか？
• RQ4 マルチビュー照合関係を有する3次元ボリューム特徴は、2次元画像ベースまたはパッチベースの学習戦略に比べて顕著に優れた性能を示すか？
• RQ5 同じフレームワークを用いて、木など多様な素材の分類に効果的に拡張可能であり、水以外の分類においても一般化が可能であるか？

主な発見

• 3次元ボリュームCNNは、水分類タスクにおいて96.3％のテスト精度を達成し、空中画像上で微調整されたベースラインInception-V3モデルを顕著に上回った。
• 完全なピクセル対応（3D CNN）では96.3％のテスト精度を達成したが、パッチ対応では90.2％、対応なしでは79.2％にとどまり、3次元空間モデリングの必要性を示した。
• 本システムは、大規模3次元再構築において水のギャップを効果的に検出し、サンフランシスコ湾のような異常な水色を示す地域でさえも滑らかでテクスチャのある水表面を生成した。
• 統合された3次元予測から得られた2次元分類マスクにより、ギャップフィリングが堅牢に実現され、電気塔の支柱や細い水路といった微細なディテールが保持された。
• 本手法は木分類に対しても良好に一般化され、地図上に8つの手動で描画されたポリゴンのみを用いて正確なセグメンテーションを達成した。ピクセル単位の画像ラベル付けは不要であった。
• 本手法はステレオ再構築パイプラインの変更に対してもロバストであり、下流のフォトコヒーレンス計算が変化しても高い性能を維持した。