[論文レビュー] Sparse 3D convolutional neural networks

Ben Graham|arXiv (Cornell University)|May 12, 2015

Human Pose and Action Recognition参考文献 5被引用数 13

ひとこと要約

本稿では、立方体格子や正四面体格子上で $2\times2\times2$ の小さなフィルタを用い、非ゼロ（活性）な空間的位置にのみ注目することで、3Dデータを効率的に処理するスパース3次元畳み込みニューラルネットワーク（CNN）を提案する。この手法は、3Dノットパスや動画のオプティカルフロー差分などのスパース入力において、密な3次元CNNに比べて顕著に計算コストを削減しながら、3D物体認識および人間の行動認識タスクで最先端の性能を達成する。

ABSTRACT

We have implemented a convolutional neural network designed for processing sparse three-dimensional input data. The world we live in is three dimensional so there are a large number of potential applications including 3D object recognition and analysis of space-time objects. In the quest for efficiency, we experiment with CNNs on the 2D triangular-lattice and 3D tetrahedral-lattice.

研究の動機と目的

• 大規模でほとんど空の3次元グリッドを処理する際の密な3次元CNNの高い計算コストを軽減するため、入力データのスパarsityを活用すること。
• 非ゼロ（活性）な入力サイトでのみ動作する効率的な3次元CNNアーキテクチャを設計し、メモリおよび計算リソースの要件を削減すること。
• 3Dノットパス、3D筆跡シーケンス、動画オプティカルフローなどのスパース3次元データに対するスパース3次元CNNの性能と効率を評価すること。
• 計算効率と精度の観点から、立方体格子と正四面体格子の2種類の格子構造を比較すること。
• 3次元物体認識、筆跡認識、人間の行動認識といった実世界の応用分野において、スパース3次元CNNの実現可能性と利点を示すこと。

提案手法

• 非ゼロの入力サイトでのみ活性化を計算するスパース3次元畳み込み層を用い、空の空間的位置での無駄な演算を回避する。
• 立方体格子および正四面体格子の両方で、$2\times2\times2$ の小さな畳み込みフィルタを採用することで、大きなフィルタに比べてパラメータ数と演算数を削減する。
• ストライド2のマックスプーリング（$\text{MP}3/2$）と、場合によってはフーリエ変換に基づくマックスプーリング（FMP）を用い、スパarsityを保持したままダウンサンプリングする。
• 畳み込み層とプーリング層のシーケンスで構成されるアーキテクチャを採用：$\text{C}k$ は $k$ 個のフィルタを用いた畳み込み、$\text{MP}3/2$ はカーネルサイズ3、ストライド2のマックスプーリング、$\text{FMP}$ はフーリエ変換に基づくマックスプーリングを表す。
• 重み減衰を用いた確率的勾配降下法によりエンドツーエンドで学習を行い、推論はスパーステンソル演算により最適化する。
• 立方体格子および正四面体グリッドの両方で効率的なスパース畳み込みとプーリングをサポートするカスタムスパーステンソルフレームワークを実装する。

実験結果

リサーチクエスチョン

• RQ1 スパース3次元CNNは、密な3次元CNNに比べて顕著に計算コストを削減しながら、3次元データに対して高い精度を達成できるか？
• RQ2 入力がスパースな場合に、格子構造の選択（立方体対正四面体）が3次元CNNの効率性と精度にどのように影響するか？
• RQ3 スパース3次元CNNは、3D筆跡シーケンスや動画オプティカルフロー差分のような3次元時空間的データを効果的にモデル化できるか？
• RQ4 大きなフィルタに比べて、スパース3次元入力において $2\times2\times2$ の小さなフィルタを用いることで、性能と計算効率にどのような差が生じるか？
• RQ5 1次元のパスが3次元空間に存在するような入力のスパarsityは、3次元表現学習の効率性と正確性をどの程度向上できるか？

主な発見

• 3D筆跡認識のCASIA-OLHWDB1.1データセットにおいて、スパース3次元CNNは4.93%のテスト誤差を達成し、2次元CNN（5.61%）を上回る性能を示したが、計算コストはわずかに増加（118M MACs 対 72M MACs）。
• RHAデータセットでは、スパース3次元CNNが1.1億回の演算で88.0%の精度を達成し、同じタスクで71.7%のベースラインを著しく上回った。
• より複雑なUCF101データセットでは、12回のテストを伴うモデルが2.7億回の演算で67.8%の精度を達成し、報告されたベースライン（43.90%）を大きく上回った。これは、困難な動画行動認識タスクにおいても優れた性能を示している。
• 正四面体格子を用いたCNNは、立方体格子の対応するものよりも計算コストが低かった（例：スケール20で9M対36Mの演算）。ただし、小さなスケールでは精度がわずかに低かった。
• フーリエ変換に基づくマックスプーリング（FMP）は、小さなスケールで高い精度を達成したが、計算コストも高かった（スケール20で116Mの演算、立方体格子のMP3/2の36Mに比べて）。
• 小さなネットワークサイズでは計算コストがI/Oバッファに制限されていたため、理論的な複雑性に基づく予測よりも、正四面体ネットワークの実際のスループット向上は小さい可能性があるが、より性能の低いハードウェアではその利点が顕著になると考えられる。