[論文レビュー] Learning Discriminative 3D Shape Representations by View Discerning Networks

Biao Leng, Cheng Zhang+3 more|arXiv (Cornell University)|Aug 11, 2018

3D Shape Modeling and Analysis参考文献 26被引用数 4

ひとこと要約

本論文では、スコア生成ユニットを介して視点品質を動的に評価することで、3次元形状認識を向上させる深層学習フレームワークであるView Discerning Network (VDN) を提案する。このスコア生成ユニットは、マルチビュー特徴に注意重みを割り当て、視点品質を評価する。本手法は、遮蔽やごみ混じりの状況下でも認識精度と耐障害性を向上させ、ModelNet および ShapeNet Core55 において最先端の手法を上回り、収束が速く、計算コストも低減される。

ABSTRACT

In view-based 3D shape recognition, extracting discriminative visual representation of 3D shapes from projected images is considered the core problem. Projections with low discriminative ability can adversely influence the final 3D shape representation. Especially under the real situations with background clutter and object occlusion, the adverse effect is even more severe. To resolve this problem, we propose a novel deep neural network, View Discerning Network, which learns to judge the quality of views and adjust their contributions to the representation of shapes. In this network, a Score Generation Unit is devised to evaluate the quality of each projected image with score vectors. These score vectors are used to weight the image features and the weighted features perform much better than original features in 3D shape recognition task. In particular, we introduce two structures of Score Generation Unit, Channel-wise Score Unit and Part-wise Score Unit, to assess the quality of feature maps from different perspectives. Our network aggregates features and scores in an end-to-end framework, so that final shape descriptors are directly obtained from its output. Our experiments on ModelNet and ShapeNet Core55 show that View Discerning Network outperforms the state-of-the-arts in terms of the retrieval task, with excellent robustness against background clutter and object occlusion.

研究の動機と目的

• 実際の状況（背景のごみや物体の遮蔽など）における低品質な視点の悪影響を是正すること。
• 特徴集約の過程で情報量の多い視点を自動的に評価・優先できる、データ駆動型でエンド・ツー・エンドで学習可能なネットワークを開発すること。
• 標準的なマックスプーリングに代えて、品質に配慮した特徴重み付けを導入することで、マルチビュー3次元形状表現学習の効率性と耐障害性を向上させること。
• 均一に多くの視点をサンプリングするのではなく、少数の高品質な視点で効果的な認識が可能な仕組みを導入することで、計算コストを削減すること。

提案手法

• ネットワークは、特徴マップから得られるスコアベクトルを用いて、各投影された2次元視点の品質を評価するスコア生成ユニットを導入する。
• 2つのスコア生成ユニットのバリエーションを提案：チャネル別スコアユニットとパーツ別スコアユニットで、それぞれ異なる視点から特徴マップを評価する。
• スコアベクトルを用いて、各視点のCNN埋め込み特徴に重みを付けることで、情報量の多い視点を強調した重み付き特徴表現を生成する。
• これらの重み付き特徴をエンド・ツー・エンドで集約し、判別性の高い3次元形状記述子を直接生成する。
• スコア生成ユニットはメインネットワークと同時に学習され、誤差逆伝搬により特徴抽出と視点品質スコアリングの両方が最適化される。
• 実際の課題を模擬するため、遮蔽画像を含む変更版のShapeNet Core55データセットを用いて評価した。

実験結果

リサーチクエスチョン

• RQ1 遮蔽やごみ混じりの状況下で、個々の視点の品質がマルチビュー3次元形状認識の性能にどのように影響するか？
• RQ2 学習可能な、アテンションに類似したメカニズムが、高品質な視点を優先的に強調することで特徴集約を改善できるか？
• RQ3 均一にサンプリングされた視点に代えて、少数の高品質な視点を用いることで、認識精度を維持または向上できる範囲はどの程度か？
• RQ4 標準的なマックスプーリングと比較して、スコアベースの重み付け機構は、耐障害性と収束速度の面でどの程度優れているか？
• RQ5 複雑または曖昧な形状において、視点品質スコアリング機構の失敗モードはどのようなものか？

主な発見

• 10個の高品質な視点のみを用いても、均一に64個の視点をサンプリングした場合よりも高い認識性能を達成し、視点品質の重要性を示した。
• View Discerning Network は、ModelNet および ShapeNet Core55 ベンチマークの両方で最先端の手法を上回ったが、特に遮蔽やごみ混じりの状況下で顕著な優位性を示した。
• トレーニング中の損失曲線から、スコア生成ユニットを導入した場合、収束が速くかつ安定していることが確認され、トレーニング効率の向上が裏付けられた。
• 少数の高品質な視点で効果的な認識が可能になったことで、計算コストを削減した。
• パーツ別スコアユニットは、複雑な植物モデルや、より大きな物体の上に配置されたギターのモデルでは、内容に無関係なブロック分割と、前景・背景の混同により、良い視点を正しく認識できなかった。
• 遮蔽のある ModelNet40 データセットでは、植物モデルの分類精度が約45％まで低下し、高複雑性・ごみ混じりのシーンの処理における主な限界を示した。