[論文レビュー] BiPointNet: Binary Neural Network for Point Clouds

Haotong Qin, Zhongang Cai+6 more|arXiv (Cornell University)|Oct 12, 2020

3D Shape Modeling and Analysis参考文献 49被引用数 10

ひとこと要約

BiPointNetは、点群ディープラーニングにおける最初のモデルバイナリゼーションフレームワークを提示し、2つの主要な課題に取り組む：集約による特徴の均一化とバイナリゼートネットワークにおけるスケール歪み。情報エントロピーを保持するためのエントロピー最大化集約（EMA）と、学習可能なスケーリング因子を用いたレイヤーごとのスケール回復（LSR）を提案。これにより、14.7倍の高速化とエッジデバイス上での18.9倍のストレージ削減を達成しながら、フルプレシジョンモデルに近い性能を実現。

ABSTRACT

To alleviate the resource constraint for real-time point cloud applications that run on edge devices, in this paper we present BiPointNet, the first model binarization approach for efficient deep learning on point clouds. We discover that the immense performance drop of binarized models for point clouds mainly stems from two challenges: aggregation-induced feature homogenization that leads to a degradation of information entropy, and scale distortion that hinders optimization and invalidates scale-sensitive structures. With theoretical justifications and in-depth analysis, our BiPointNet introduces Entropy-Maximizing Aggregation (EMA) to modulate the distribution before aggregation for the maximum information entropy, and Layer-wise Scale Recovery (LSR) to efficiently restore feature representation capacity. Extensive experiments show that BiPointNet outperforms existing binarization methods by convincing margins, at the level even comparable with the full precision counterpart. We highlight that our techniques are generic, guaranteeing significant improvements on various fundamental tasks and mainstream backbones. Moreover, BiPointNet gives an impressive 14.7x speedup and 18.9x storage saving on real-world resource-constrained devices.

研究の動機と目的

• バイナリゼートポイントクラウドネットワークにおける、集約に起因する特徴の均一化とスケール歪みによって引き起こされる顕著な性能低下を是正すること。
• リソース制限のあるエッジデバイスにおけるリアルタイムポイントクラウド応用のためのディープラーニングモデルの効率的デプロイを可能にすること。
• 多様なポイントクラウドバックボーンアーキテクチャに適用可能な汎用的かつ効果的なバイナリゼーションフレームワークの開発。
• モデル精度を損なわずに高い推論速度と低メモリ使用量を実現すること。
• バイナリゼートポイントクラウドネットワークにおける劣化メカニズムに関する理論的洞察の提供。

提案手法

• 特徴分布を集約前に調整することで情報エントロピーを最大化し、特徴の均一化を低減するエントロピー最大化集約（EMA）を提案。
• 各レイヤーごとに学習可能なスケーリング因子を導入し、バイリニア層の出力スケールを回復することでスケール歪みを軽減するレイヤーごとのスケール回復（LSR）を提案。
• PointNetバックボーンにEMAとLSRを適用し、PointNet++、PointCNN、DGCNN、PointConvなど他のアーキテクチャへも拡張。
• LSRでは各レイヤーあたり1つの学習可能なパラメータを用いることで、計算およびメモリオーバーヘッドを最小限に抑える。
• 事前学習なしで、Adam最適化法とコサインスケジューリングを用いた学習率スケジューリングを採用し、スクラッチから訓練。
• 学習可能なスケーリング因子を備えたバイリニア層を設計し、バイナリネットワークにおける訓練安定化と最適化改善を実現。

実験結果

リサーチクエスチョン

• RQ1 なぜバイナリゼートポイントクラウドネットワークはフルプレシジョンモデルに比べ顕著な性能低下を示すのか？
• RQ2 ポイントクラウドネットワークにおけるグローバル特徴集約は、バイナリゼーション下でどのように特徴の均一化を悪化させるのか？
• RQ3 バイナリゼートポイントクラウドネットワークにおいて、情報エントロピーをどの程度保持・最適化できるか？
• RQ4 スケール歪みは、バイナリゼートポイントクラウドモデルにおける最適化と構造的機能にどのように影響を与えるか？
• RQ5 多様なポイントクラウドネットワークアーキテクチャにわたって高い性能を維持できる汎用的なバイナリゼーションフレームワークを構築可能か？

主な発見

• BiPointNetは、分類、パーツセグメンテーション、セマンティックセグメンテーションを含む複数のポイントクラウドタスクで、フルプレシジョンモデルと約1〜2%以内の性能を達成。
• ShapeNet Partでは、BiPointNetが平均mIoU 80.3%（ema-avg）および80.6%（ema-max）を達成。ベースラインBNNは最大54.0%にとどまる。
• S3DISでは、BiPointNetが平均mIoU 40.9%（ema-avg）および44.3%（ema-max）を達成。ベースラインBNNはわずか9.5%。
• 実際のエッジデバイス上でのベンチマークで、14.7倍の高速化と18.9倍のストレージ削減を実現。顕著な効率性向上を示した。
• アブレーションスタディにより、EMAとLSRの両方が不可欠であることが確認。EMAはエントロピーを向上させ、LSRはスケールを回復させ、併用で最良の結果を達成。
• PointNet++、PointCNN、DGCNN、PointConvなど複数のバックボーンに適用可能であり、広範な適用可能性を示した。