[論文レビュー] 3DCNN-DQN-RNN: A Deep Reinforcement Learning Framework for Semantic Parsing of Large-scale 3D Point Clouds

Fangyu Liu, Shuaipeng Li+5 more|arXiv (Cornell University)|Jul 21, 2017

3D Surveying and Cultural Heritage参考文献 2被引用数 18

ひとこと要約

本稿では、3次元畳み込みニューラルネットワーク（3DCNN）、ディープQネットワーク（DQN）、および残差RNNを統合した、大規模な3次元点群の自動的でエンド・ツー・エンドの意味的パースィングを可能にする深層強化学習フレームワーク、3DCNN-DQN-RNNを提案する。本手法は、DQNによって制御されるアイウィンドウを用いて対象物を局所化・分類し、その後に3DCNNによる特徴抽出と残差RNNによる特徴融合を実行することで、最先端の手法を上回る高い分類精度を達成する。

ABSTRACT

Semantic parsing of large-scale 3D point clouds is an important research topic in computer vision and remote sensing fields. Most existing approaches utilize hand-crafted features for each modality independently and combine them in a heuristic manner. They often fail to consider the consistency and complementary information among features adequately, which makes them difficult to capture high-level semantic structures. The features learned by most of the current deep learning methods can obtain high-quality image classification results. However, these methods are hard to be applied to recognize 3D point clouds due to unorganized distribution and various point density of data. In this paper, we propose a 3DCNN-DQN-RNN method which fuses the 3D convolutional neural network (CNN), Deep Q-Network (DQN) and Residual recurrent neural network (RNN) for an efficient semantic parsing of large-scale 3D point clouds. In our method, an eye window under control of the 3D CNN and DQN can localize and segment the points of the object class efficiently. The 3D CNN and Residual RNN further extract robust and discriminative features of the points in the eye window, and thus greatly enhance the parsing accuracy of large-scale point clouds. Our method provides an automatic process that maps the raw data to the classification results. It also integrates object localization, segmentation and classification into one framework. Experimental results demonstrate that the proposed method outperforms the state-of-the-art point cloud classification methods.

研究の動機と目的

• 不均一な密度とノイズを含む大規模で非構造的な3次元点群における意味的パースィングの課題に対処すること。
• 手作業で設計された特徴量やヒューリスティックな特徴融合の限界を克服し、一貫性があり補完的な特徴量をエンド・ツー・エンドで学習すること。
• 単一で統合的な深層学習フレームワーク内で、対象物の局所化、分類、分類を統合的に実行できること。
• 学習可能な強化学習駆動のメカニズムにより、手動によるハイパーパrameterチューニングへの依存を低減すること。

提案手法

• ボクセル化された点群パッチから、3DCNNがスケールに応じた空間的・形状的・色・文脈的特徴量を抽出する。
• ディープQネットワーク（DQN）が、3DCNN特徴量から導出される報酬信号を最大化することで、動的かつ適応的なアイウィンドウを制御し、物体クラスの局所化と分類を実行する。
• アイウィンドウはDQNの意思決定に基づき、繰り返し再配置およびリサイズされ、報酬が高くなる領域に注目することで、局所化の正確性を向上させる。
• 各アイウィンドウ内における3DCNN特徴量、点群座標、RGBカラーが連結され、残差RNNに供給され、階層的特徴抽象化と分類が実行される。
• 残差RNNは、多スケール表現を統合し、最終的な分類に適した強力で判別性の高い埋め込み表現を生成する。
• パイプライン全体がエンド・ツー・エンドで訓練可能であり、生の点群から意味的ラベルへの自動マッピングを実現する。

実験結果

リサーチクエスチョン

• RQ1 手作業で設計された特徴量なしに、深層強化学習フレームワークが非構造的で大規模な3次元点群において、効果的に物体を局所化・分類できるか。
• RQ2 DQNによって制御されるアイウィンドウの統合は、固定サイズまたはランダムサンプリング戦略と比較して、物体の局所化精度をどのように向上させるか。
• RQ3 局所化された領域からのマルチモーダル特徴量（3DCNN、座標、RGB）を統合することで、残差RNNが分類性能をどの程度向上させるか。
• RQ4 DQNの探索戦略は、複雑な3次元シーンにおけるパースィング精度と収束時間にどのように影響を与えるか。
• RQ5 提案されたフレームワークは、既存の最先端手法を3次元点群の意味的パースィングにおいて上回ることができるか。

主な発見

• 3DCNN-DQN-RNNフレームワークは、ベンチマークデータセットにおいて最先端の手法を上回る優れた分類精度を達成し、意味的パースィングにおける有効性を示している。
• DQNによって制御されるアイウィンドウは、報酬が高くなる領域に注目することで、特に小さな物体や隠れていたりする物体の局所化精度を顕著に向上させている。
• 残差RNNは、3DCNN特徴量、座標、RGB値を効果的に統合することで、より判別性の高い表現を生成し、分類性能を向上させている。
• DQNポリシーと特徴抽出部を含む多くのパラメータをエンド・ツー・エンドで学習することで、手動によるハイパーパrameterチューニングへの依存を低減している。
• 課題は存在するが、重なっているか、外観が似ている物体（例：テーブルと本棚）を含む複雑なシーンにおいても、性能が向上している。
• 3DCNNが小さな物体や曖昧な物体（例：ガラスドアが窓と誤認される）に対して特徴量学習の能力が限定的であることが明らかになったため、より大きなデータセットでの事前学習の必要性が示唆された。