[論文レビュー] Deep geometric knowledge distillation with graphs

Carlos Lassance, Myriam Bontonou+4 more|arXiv (Cornell University)|Nov 8, 2019

Advanced Neural Network Applications参考文献 31被引用数 4

ひとこと要約

本稿では、中間特徴活性化のグラフベース表現を用いて、教師から生徒ネットワークへの関係的知識を転送する次元に依存しない知識蒸留手法であるグラフ知識蒸留（GKD）を提案する。類似度に基づくグラフを介してサンプル間の関係性をモデル化し、隣接行列の差異を最小化することで、特徴空間次元が一致しなくても、視覚ベンチマークにおいて標準的なRKDよりも最大2倍の性能向上を達成する。

ABSTRACT

In most cases deep learning architectures are trained disregarding the amount of operations and energy consumption. However, some applications, like embedded systems, can be resource-constrained during inference. A popular approach to reduce the size of a deep learning architecture consists in distilling knowledge from a bigger network (teacher) to a smaller one (student). Directly training the student to mimic the teacher representation can be effective, but it requires that both share the same latent space dimensions. In this work, we focus instead on relative knowledge distillation (RKD), which considers the geometry of the respective latent spaces, allowing for dimension-agnostic transfer of knowledge. Specifically we introduce a graph-based RKD method, in which graphs are used to capture the geometry of latent spaces. Using classical computer vision benchmarks, we demonstrate the ability of the proposed method to efficiently distillate knowledge from the teacher to the student, leading to better accuracy for the same budget as compared to existing RKD alternatives.

研究の動機と目的

• 教師と生徒ネットワークの潜在空間次元を一致させる必要がある、個別知識蒸留（IKD）の制限を解消すること。
• 特徴次元の不一致を解消し、層ごとの蒸留において特徴次元に依存しない知識転送を可能にすること。
• 潜在表現内の幾何的関係をよりよく捉えるためにグラフ構造を活用し、既存の関係的知識蒸留（RKD）を改善すること。
• グラフベースの蒸留が、標準的なRKDおよびベースライン手法と比較して、より一貫性があり正確な生徒モデルをもたらすことを示すこと。

提案手法

• ノードがトレーニングサンプルを表し、エッジ重みが特定のネットワーク層におけるそれらの中間特徴表現間の類似度を符号化するグラフを構築する。
• 局所的グラフ近傍を定義するためにk近傍法を用い、ノイズを低減するための最も関連性の高いサンプル間関係に焦点を当てる。
• 教師と生徒のグラフの隣接行列間の差異損失を定義し、トレーニング中に幾何的構造を一致させる。
• 層ごとの方法でグラフベースの蒸留損失を適用し、深さ、幅、入力解像度が異なるアーキテクチャ間でも次元に依存しない知識転送を可能にする。
• ラプラシアン行列を用いたグラフ信号の滑らかさ分析により、生徒の表現が教師の幾何的構造とどの程度一致しているかを評価する。
• クラス間対とクラス内対に焦点を当てる変種や、高次隣接行列（p > 1）を検討し、ロバストネスと有効性を評価する。

実験結果

リサーチクエスチョン

• RQ1 潜在空間におけるサンプル間関係のグラフベースモデリングが、標準的な関係的蒸留（RKD）を上回る知識蒸留を可能にするか？
• RQ2 類似度に基づくグラフを用いることで、特徴次元が不一致する教師・生徒ネットワーク間でも、効果的な次元に依存しない蒸留が可能になるか？
• RQ3 k-NNによる局所的近傍に焦点を当てるか、クラス間マージンに注目するかと、すべてのペアワイズ距離を使用する場合と比較して、蒸留性能にどのような影響を与えるか？
• RQ4 隣接行列の累乗（p=2,3）による高次幾何的関係は、知識転送をどの程度向上させるか、あるいはノイズを引き起こすか？
• RQ5 グラフ信号の滑らかさを指標として用いると、生徒ネットワークの幾何的構造が教師のそれとどの程度一致しているか？

主な発見

• k=5のとき、CIFAR-100でGKDは9.43%のテスト誤差を達成し、ベースラインのRKD-D（9.70%）を上回り、相対的に約2.8%の改善を示した。
• クラス間対（異なるクラス）に焦点を当てることで誤差は9.54%に低下し、マージンの維持がクラスタリングの一致よりも有益であることを示した。
• クラス内対のみを用いると誤差は10.35%に上昇し、クラスタリング類似度がマージンベースの一致よりも効果的でないことが確認された。
• kを低くする（例：k=5）ことで、より大きな近傍よりも性能が向上し、局所的で類似度の高い関係が、グローバルな距離よりも情報量が多いことが示された。
• 高次隣接行列（p=2,3）を用いるとかえって性能が低下（誤差率10.44%および10.37%）し、遠く離れたまたは関連性の低いペアからのノイズが知識転送を損なうことが示唆された。
• スペクトル解析により、GKDは滑らかなグラフ信号（例：ラベルインジケータやFiedlerベクトル）を生成することが確認され、教師の潜在幾何構造とより良い一致を示した。