[論文レビュー] Masked Generative Distillation

Zhendong Yang, Zhe Li+4 more|arXiv (Cornell University)|May 3, 2022

Advanced Neural Network Applications被引用数 4

ひとこと要約

本稿では、教師モデルの完全な特徴マップをランダムにマスクされた学生の特徴から再構成するように訓練することで、学生モデルの表現力を向上させる、新しい特徴ベースの知識蒸留手法であるマスクド生成蒸留（MGD）を提案する。MGDは、画像分類、物体検出、セマンティックセグメンテーション、インスタンスセグメンテーションのあらゆるタスクで最先端の性能向上を達成し、ImageNetではトップ-1精度が最大1.79%向上し、検出およびセグメンテーションタスクではmAPが3.5ポイントを超えて向上した。

ABSTRACT

Knowledge distillation has been applied to various tasks successfully. The current distillation algorithm usually improves students' performance by imitating the output of the teacher. This paper shows that teachers can also improve students' representation power by guiding students' feature recovery. From this point of view, we propose Masked Generative Distillation (MGD), which is simple: we mask random pixels of the student's feature and force it to generate the teacher's full feature through a simple block. MGD is a truly general feature-based distillation method, which can be utilized on various tasks, including image classification, object detection, semantic segmentation and instance segmentation. We experiment on different models with extensive datasets and the results show that all the students achieve excellent improvements. Notably, we boost ResNet-18 from 69.90% to 71.69% ImageNet top-1 accuracy, RetinaNet with ResNet-50 backbone from 37.4 to 41.0 Boundingbox mAP, SOLO based on ResNet-50 from 33.1 to 36.2 Mask mAP and DeepLabV3 based on ResNet-18 from 73.20 to 76.02 mIoU. Our codes are available at https://github.com/yzd-v/MGD.

研究の動機と目的

• 従来の特徴ベースの蒸留手法が教師特徴の直接模倣に依存するという限界に対処すること。このアプローチは、学生の表現を最適に改善するとは限らない。
• 入力がマスクされた状態からの特徴再構成が、直接模倣よりも学生の特徴表現力の向上に効果的であるかどうかを検証すること。
• 分類、検出、セグメンテーションを含む多様なビジョンタスクに適用可能な、シンプルで汎用性の高い蒸留手法を開発すること。
• 生成的再構成目的が、学生と教師の特徴マップが視覚的に類似していない場合でも、より優れたロバスト性と性能向上をもたらすかどうかを検証すること。

提案手法

• 訓練中に学生の特徴マップからランダムに画素をマスクし、再構成用のマスク済み入力を生成する。
• 軽量な生成ブロック（ReLU活性化関数を伴う2つの3×3畳み込み層）を用いて、マスクされた学生特徴から教師の完全な特徴マップを再構成するように訓練する。
• 生成された特徴マップと教師の真値特徴マップのL2差分を最小化する再構成損失を用いる。
• 標準的な蒸留目的（例：交差エントロピーまたは検出ヘッド）とMGD損失を統合し、同時に最適化する。
• ネットワークの異なる段階にMGDを適用するが、特により深い、より意味論的な層で最良の性能が得られた。
• 2つのハイパーパrameter（損失バランス係数αとマスク率λ）を調整するが、感度分析では最小限の感度が観察された。

実験結果

リサーチクエスチョン

• RQ1 マスクされた入力からの教師特徴の再構成を学生モデルに学習させることで、教師特徴の直接模倣よりも優れた表現学習が達成可能か？
• RQ2 学生と教師の特徴マップが視覚的に著しく異なる場合でも、生成的再構成目的が性能向上に寄与するか？
• RQ3 MGDは、画像分類、物体検出、密度予測タスクを含む多様なビジョンタスクでどのように性能を発揮するか？
• RQ4 MGDにおける生成ブロックおよびマスク率の最適なアーキテクチャとハイパーパrameter設定は何か？
• RQ5 ネットワークのより深い段階で蒸留を行うと、浅い段階よりも性能向上が顕著に現れるか？

主な発見

• MGDにより、ResNet-18のImageNetトップ-1精度は69.90%から71.69%に上昇し、1.79%の向上を達成した。
• 物体検出タスクでは、ResNet-50バックボーンを搭載するRetinaNetのmAPが37.4から41.0に上昇し、3.6ポイントの向上を達成した。
• SOLOでは、ResNet-50バックボーンを用いてマスクmAPが33.1から36.2に3.1ポイント向上した。
• DeepLabV3にResNet-18を適用した場合、ADE20KデータセットでmIoUが73.20%から76.02%に上昇した。
• 学生と教師の特徴が視覚的に類似していない場合でさえ、MGDはFused Global Distillation（FGD）やKnowledge Refinement（KR）といった最先端の特徴ベース蒸留手法を上回った。
• ハイパーパrameterの選択に対して頑健であり、特にマスク率λについては最適値が中程度の値（λ < 0.5）で得られ、損失バランス係数αに対しても最小限の感度が観察された。