[論文レビュー] Knowledge as Priors: Cross-Modal Knowledge Generalization for Datasets without Superior Knowledge

L. Zhao, Xi Peng+3 more|arXiv (Cornell University)|Apr 1, 2020

Human Pose and Action Recognition参考文献 58被引用数 8

ひとこと要約

本論文は、ペアモダリティ（例：RGBと深度）を持つソースデータセットから抽出されたクロスモーダル知識を、優れたモダリティが欠如しているターゲットデータセット（例：RGBのみ）へ転送するメタラーニング手法であるクロスモーダル知識一般化（CMKG）を提案する。教師モデルのパラメータをメタ最適化によってパラメータの事前分布としてモデル化することで、ターゲットドメインで優れたモダリティにアクセスせずに、3Dハンドポーズ推定で最先端の性能を達成する。

ABSTRACT

Cross-modal knowledge distillation deals with transferring knowledge from a model trained with superior modalities (Teacher) to another model trained with weak modalities (Student). Existing approaches require paired training examples exist in both modalities. However, accessing the data from superior modalities may not always be feasible. For example, in the case of 3D hand pose estimation, depth maps, point clouds, or stereo images usually capture better hand structures than RGB images, but most of them are expensive to be collected. In this paper, we propose a novel scheme to train the Student in a Target dataset where the Teacher is unavailable. Our key idea is to generalize the distilled cross-modal knowledge learned from a Source dataset, which contains paired examples from both modalities, to the Target dataset by modeling knowledge as priors on parameters of the Student. We name our method "Cross-Modal Knowledge Generalization" and demonstrate that our scheme results in competitive performance for 3D hand pose estimation on standard benchmark datasets.

研究の動機と目的

• 優れたモダリティ（例：深度、点群）が利用できないデータセットへクロスモーダル知識を転送する課題に対処すること。
• ペアドソースデータから学習した知識を、ペアでないターゲットデータへ一般化することで、データセット間での知識蒸留を可能にすること。
• ペアドRGB-深度データから得た知識を活用し、RGBのみのデータセットにおける3Dハンドポーズ推定の性能を向上させること。
• メタラーニングを用いてクロスモーダル知識を一般化するパラメータ事前分布正則化方式を開発すること。

提案手法

• RGBと深度のペアモダリティを持つソースデータセットを活用し、教師-生徒フレームワークを用いてクロスモーダル知識を蒸留する。
• メタラーニングの目的関数を用いて、蒸留された知識を生徒ネットワークのパラメータに対する事前分布としてモデル化する。
• 訓練中にターゲットデータセットのバリデーション損失を最小化するように、事前分布のパラメータをメタ最適化で最適化する。
• ターゲットデータセットの訓練時に学習済みの事前分布を正則化項として適用し、一般化性能を向上させる。
• スパarsityを促進し、特徴学習を強化するため、パラメータごとの正負成分を有する事前分布の定式化を採用する。
• ドメインシフトを伴うさまざまなターゲットデータセットに対しても一般化できるように、メタラーニングアルゴリズムを用いて事前分布を学習する。

実験結果

リサーチクエスチョン

• RQ1 ペアドソースデータセットから蒸留されたクロスモーダル知識が、優れたモダリティにアクセスできないターゲットデータセットへ効果的に一般化可能か？
• RQ2 教師モデルをターゲットドメインに必要とせずに、ペアドマルチモーダルデータから得た知識を、単一モーダルなターゲットデータセットへ転送する方法は何か？
• RQ3 メタ学習されたパラメータ事前分布は、RGBのみのデータセットにおける3Dハンドポーズ推定の性能をどの程度向上できるか？
• RQ4 ソースとターゲットデータセット間のドメインシフトやデータ分布の違いが、一般化された知識事前分布の性能に与える影響はどの程度か？

主な発見

• CMKGは、3Dハンドポーズ推定のSTBベンチマークで最先端の性能を達成し、誤差8.18 mmを記録し、先行手法を上回った。
• FreiHANDデータセットでは、ベースラインの16.18 mmから、学習済みの事前分布を適用することで14.18 mmに誤差を低減し、2.00 mmの改善を達成した。
• FreiHANDにおける多様なドメインにわたる一般化性能は良好であり、ドメインごとに0.10 mmから7.49 mmの性能向上が見られた。
• 可視化結果から、正則化されたネットワークがゼロを中心とする鋭いパラメータ分布を学習していることが示され、効果的なスパarsity誘導が行われていることが確認された。
• 性能向上は、デフォルトのL2正則化の効果性と強く相関しており、標準的な最適化手法と高い相性であることが示唆された。
• ターゲットデータセットに顕著なドメインシフトが存在しても、本手法は依然として有効であり、分布差に対して高いロバストネスを示した。