[論文レビュー] Inter-Region Affinity Distillation for Road Marking Segmentation

Yuenan Hou, Zheng Ma+3 more|arXiv (Cornell University)|Apr 11, 2020

Advanced Neural Network Applications参考文献 37被引用数 9

ひとこと要約

本稿では、道路標識セグメンテーションのための軽量な学生モデルに、大規模な教師ネットワーク（ResNet-101）から構造的シーン知識を転送する、新しい知識蒸留法であるInter-Region Affinity Knowledge Distillation（IntRA-KD）を提案する。空間的領域間の特徴分布類似度に基づく相互領域アフィニティグラフを構築することで、IntRA-KDは学生モデルにグローバルな構造的事前知識を学習可能にし、ApolloScape、CULane、LLAMASの各ベンチマークで最先端の性能を達成した。ResNet-101と比較して21倍少ないパラメータ（2.49M）と16倍高速な推論（10.2ms）を実現した。

ABSTRACT

We study the problem of distilling knowledge from a large deep teacher network to a much smaller student network for the task of road marking segmentation. In this work, we explore a novel knowledge distillation (KD) approach that can transfer 'knowledge' on scene structure more effectively from a teacher to a student model. Our method is known as Inter-Region Affinity KD (IntRA-KD). It decomposes a given road scene image into different regions and represents each region as a node in a graph. An inter-region affinity graph is then formed by establishing pairwise relationships between nodes based on their similarity in feature distribution. To learn structural knowledge from the teacher network, the student is required to match the graph generated by the teacher. The proposed method shows promising results on three large-scale road marking segmentation benchmarks, i.e., ApolloScape, CULane and LLAMAS, by taking various lightweight models as students and ResNet-101 as the teacher. IntRA-KD consistently brings higher performance gains on all lightweight models, compared to previous distillation methods. Our code is available at https://github.com/cardwing/Codes-for-IntRA-KD.

研究の動機と目的

• 疎な監視下および複雑な現実世界の条件下でも、効率的で小型のモデルを訓練する課題に対処すること。
• 既存の知識蒸留法が、正確なレーンおよび道路要素予測に不可欠な構造的シーン関係を転送する点で限界を示しているという問題を克服すること。
• 大規模な教師モデルから得られるグローバルな構造的事前知識を符号化・転送することで、軽量な学生ネットワークの一般化性能とロバスト性を向上させること。
• 道路標識セグメンテーションを越えて、多様なセグメンテーションタスクに適用可能な汎用的でアーキテクチャに依存しない蒸留フレームワークを開発すること。

提案手法

• 教師および学生ネットワークの深層特徴マップを空間的領域に分解し、グラフのノードとして構成する。
• 領域レベルの特徴分布統計量間のコサイン類似度を計算することで、相互領域アフィニティグラフを構築する。
• 各領域からの統計的特徴（平均、分散、歪度）を抽出するためのモーメントプーリング演算子を導入し、堅牢なグラフ表現を実現する。
• 教師が生成するアフィニティグラフ構造を模倣するように学生ネットワークを訓練するため、グラフ整合性損失を用いる。
• 相互領域アフィニティ蒸留損失を、例えば注目マップ蒸留などの他の蒸留損失と組み合わせることで、補完的な性能向上を達成する。
• 標準のセグメンテーションヘッドと組み合わせてエンドツーエンドで適用し、標準的なディープラーニング訓練パイプラインで最適化する。

実験結果

リサーチクエスチョン

• RQ1 特徴マップやログイットの転送に加えて、シーン内の領域間の構造的関係を転送することで、知識蒸留の性能を向上させられるか？
• RQ2 領域間の特徴分布類似度をモデル化することで、道路標識セグメンテーションにおける軽量な学生モデルの一般化性能が向上するか？
• RQ3 疎なアノテーションや困難な視覚的条件下でも、IntRA-KDは既存の蒸留手法に比べてどれほど効果的か？
• RQ4 提案手法は、異なるバックボーンアーキテクチャやセグメンテーションベンチマークに一般化可能か？
• RQ5 グラフベースの蒸留プロセスの中で、性能向上に最も寄与する要因は何か？

主な発見

• ApolloScapeでは、IntRA-KDによりERFNet（2.49Mパラメータ、10.2ms）が43.2 mIoUを達成した。これは、ResNet-101教師（52.53Mパラメータ、171.2ms）と比較して21倍少ないパラメータと16倍高速な推論を実現した。
• CULaneでは、IntRA-KDによりERFNetのF1スコアが72.39に向上し、他の蒸留手法を上回り、低照度や隠蔽状態でもロバストであることが示された。
• LLAMASでは、IntRA-KDによりERFNetが0.598 mAPを達成し、多様な道路環境で一貫した性能向上を示した。
• アブレーションスタディの結果、相互領域アフィニティ蒸留と注目マップ蒸留を組み合わせた場合が最良の性能（43.2 mIoU）を示し、高レベル特徴の蒸留が中レベル特徴の蒸留よりも寄与度が高かった。
• 損失係数の選定に対してロバストであり、{0.05, 0.10, 0.15} の異なるハイパーパramータ設定においても一貫した性能を維持した。
• 定性的な結果から、ERFNet-IntRA-KDは細く長いレーンマークにおいてより完全で正確な予測を生成し、より構造的でクラス判別性の高い特徴埋め込みを生成することがわかった。