[論文レビュー] Interpreting Representation Quality of DNNs for 3D Point Cloud Processing

Wen Shen, Qihan Ren+2 more|arXiv (Cornell University)|Nov 5, 2021

Adversarial Robustness in Machine Learning被引用数 7

ひとこと要約

本稿では、回転、平行移動、スケーリング、および3つの構造タイプの6つの地域的感度指標、空間的滑らかさ、および高次相互作用による表現複雑性を導入することで、3次元点群処理における深層ニューラルネットワーク（DNN）表現の解釈と品質評価の包括的フレームワークを提案する。主な発見は、大多数のDNNが特にエッジやコーナーで顕著に回転に敏感であり、敵対的訓練が耐性向上とグローバル構造符号化の両方を著しく改善することである。

ABSTRACT

In this paper, we evaluate the quality of knowledge representations encoded in deep neural networks (DNNs) for 3D point cloud processing. We propose a method to disentangle the overall model vulnerability into the sensitivity to the rotation, the translation, the scale, and local 3D structures. Besides, we also propose metrics to evaluate the spatial smoothness of encoding 3D structures, and the representation complexity of the DNN. Based on such analysis, experiments expose representation problems with classic DNNs, and explain the utility of the adversarial training.

研究の動機と目的

• 幾何変換に対する脆弱性を特定することで、3次元点群処理におけるDNNの知識表現の品質を診断すること。
• DNNのブラックボックス性を解消するため、回転、平行移動、スケーリング、および局所的3次元構造（エッジ、面、質量）に対する地域的感度を定量化すること。
• 隣接領域間の属性割り当ての類似性として空間的滑らかさを定義し、DNNが局所的3次元構造をどの程度一貫して符号化しているかを測定すること。
• 高次相互作用を用いた多階層相互作用フレームワークを拡張し、表現複雑性を測定することで、DNNが3次元構造のグローバルな依存関係をどの程度学習できるかを明らかにすること。

提案手法

• 幾何変換（回転、平行移動、スケーリング、および3つの構造タイプ）の下での属性変化を定量化するため、シャープレー値を用いた6つの地域的感度指標を提案する。
• 隣接領域間の属性割り当ての類似性として空間的滑らかさを定義し、DNNが局所的3次元構造をどの程度一貫して符号化しているかを測定する。
• 多階層相互作用フレームワークを拡張し、高次相互作用が高いほどグローバル構造的依存関係を反映するように表現複雑性を測定する。
• 回転に基づく攻撃とデータ拡張（回転、平行移動、スケーリング）を用いた敵対的訓練を実施し、耐性向上の効果を評価する。
• 再構成タスクにおいて感度指標の妥当性を検証するため、ModelNet10にオートエンコーダーを適用する。
• PointNet++とDGCNNの回転不変バージョンを訓練し、標準モデルと比較して耐性を評価する。

実験結果

リサーチクエスチョン

• RQ1 異なる幾何変換（回転、平行移動、スケーリング）は、3次元点群分類におけるDNNの属性割り当てにどのように影響するか？
• RQ2 3次元点群において、幾何変換感度の観点で最も脆弱な領域はどこか？
• RQ3 DNNは、隣接領域間で一貫した3次元構造を反映するように、空間的に滑らかな表現をどの程度符号化しているか？
• RQ4 DNNが3次元構造について学習できる最大の文脈的複雑性（多階層相互作用を用いて）はどの程度か？
• RQ5 敵対的訓練やデータ拡張は、幾何的摂動に対するDNN表現の耐性にどのように影響するか？

主な発見

• PointNet、PointNet++、DGCNN、PointConvを含む大多数のDNNは、平行移動やスケーリング感度よりも顕著に回転感度が高く、特にデータ拡張なしではPointNet++が0.111 ± 0.053の回転感度を示す。
• エッジやコーナーが最も回転感度が高く、しばしば高い属性割り当てを受けており、回転に基づく攻撃に対して脆弱である。
• 回転感度の高い領域では、通常の高次相互作用が顕著に高くなる傾向があり、トレーニングデータのグローバル構造に過剰適合している可能性を示している。
• 回転に基づく攻撃を用いた敵対的訓練により、DGCNNの回転感度は0.036 ± 0.015に、GCNNのそれは0.028 ± 0.016に低下し、回転データ拡張（0.052 ± 0.021および0.048 ± 0.024）を上回る性能を示した。
• 大多数のDNNは高次相互作用を十分に符号化できず、通常のサンプルから複雑なグローバル3次元構造をモデル化する能力に制限があることが示された。
• 3次元再構成用のオートエンコーダーでも高い回転感度（0.099 ± 0.043）を示しており、無教師学習モデルですら幾何的摂動に対して脆弱であることが判明した。