[論文レビュー] Multilinear Compressive Learning with Prior Knowledge

Dat Thanh Tran, Moncef Gabbouj+1 more|arXiv (Cornell University)|Feb 17, 2020

Sparse and Compressive Sensing Techniques参考文献 49被引用数 4

ひとこと要約

本稿では、非線形圧縮モデルの教師付き学習を通じて特徴を判別するテンソル部分空間を暗黙的に発見し、その知識を活用してセンシングと特徴合成を最適化する、Multilinear Compressive Learning (MCL) のための知識移譲フレームワークを提案する。この手法により、特にラベルなしデータがモデルの一般化性能と精度を向上させる半教師付き設定において、エンド・ツー・エンドの学習が可能となり、性能が向上する。

ABSTRACT

The recently proposed Multilinear Compressive Learning (MCL) framework combines Multilinear Compressive Sensing and Machine Learning into an end-to-end system that takes into account the multidimensional structure of the signals when designing the sensing and feature synthesis components. The key idea behind MCL is the assumption of the existence of a tensor subspace which can capture the essential features from the signal for the downstream learning task. Thus, the ability to find such a discriminative tensor subspace and optimize the system to project the signals onto that data manifold plays an important role in Multilinear Compressive Learning. In this paper, we propose a novel solution to address both of the aforementioned requirements, i.e., How to find those tensor subspaces in which the signals of interest are highly separable? and How to optimize the sensing and feature synthesis components to transform the original signals to the data manifold found in the first question? In our proposal, the discovery of a high-quality data manifold is conducted by training a nonlinear compressive learning system on the inference task. Its knowledge of the data manifold of interest is then progressively transferred to the MCL components via multi-stage supervised training with the supervisory information encoding how the compressed measurements, the synthesized features, and the predictions should be like. The proposed knowledge transfer algorithm also comes with a semi-supervised adaption that enables compressive learning models to utilize unlabeled data effectively. Extensive experiments demonstrate that the proposed knowledge transfer method can effectively train MCL models to compressively sense and synthesize better features for the learning tasks with improved performances, especially when the complexity of the learning task increases.

研究の動機と目的

• マルチラインア・圧縮センシングにおける下流の学習タスクに不可欠な特徴を捉える判別性の高いテンソル部分空間を同定する課題に対処すること。
• 発見されたデータ多様体上に信号を射影できるように、MCLにおけるセンシングおよび特徴合成部を最適化すること。
• 知識移譲プロセスの半教師付き適合を介して、ラベルなしデータの有効活用を可能にすること。
• エンド・ツー・エンドで学習可能なフレームワーク内で、教師モデルから生徒モデルへの事前知識の移譲によりMCLの性能を向上させること。
• 従来の手法がラベル付きデータが限られるために苦戦するような複雑な学習タスクにおいて、本手法の有効性を示すこと。

提案手法

• 推論タスクに特化した非線形圧縮学習モデル（教師）を学習し、高品質なデータ多様体を暗黙的に発見する。
• 圧縮測定値、特徴、予測のための監視信号を用いた段階的な教師付き学習により、教師モデルからMCLシステムへ知識を移譲する。
• 自己ラベル付け手順を適用することで、ラベルなしデータを統合する半教師付き適合を導入し、事前知識生成を強化する。
• 事前知識生成モデル（P）およびその半教師付き変種（P-S）を用い、MCL生徒モデルに構造的なインダクティブバイアスを提供する。
• 知識移譲に従ってガイドされるように、センシング行列と特徴合成部を統合的に最適化し、エンド・ツー・エンドで全システムを最適化する。
• テンソルデータの階層的構造を活用して、圧縮および学習の過程で多次元信号構造を保持する。

実験結果

リサーチクエスチョン

• RQ1 マルチラインア・圧縮センシングにおける学習タスクに不可欠な特徴を捉える判別性の高いテンソル部分空間を効果的に発見する方法は何か？
• RQ2 訓練済みの圧縮モデルから得られる事前知識を、MCLにおけるセンシングおよび特徴合成を最適化するために体系的にどのように移譲できるか？
• RQ3 ラベルなしデータを統合することで、半教師付き設定におけるMCLモデルの性能はどの程度向上するか？
• RQ4 教師モデルからの知識移譲が、標準的な訓練と比較してMCLシステムの一般化性能と精度を顕著に向上させられるか？
• RQ5 学習タスクの複雑さが増し、ラベル付きデータが限られる状況において、本手法はどの程度スケーラブルか？

主な発見

• 半教師付き知識移譲を用いる本稿で提案するMCLwP-Sモデルは、すべてのベンチマークで最高の性能を達成し、MCLおよびMCLwPを上回った。
• 14×11×2の測定値を有するCIFAR-10Sデータセットでは、MCLwP-Sが78.03%の正確度を達成し、MCL（75.31%）およびMCLwP（75.86%）を上回った。
• CelebA-500Sの半教師付き設定では、MCLwP-Sが58.34%の正確度に達し、MCL（41.47%）およびMCLwP（42.07%）を著しく上回った。
• ラベルなしデータで訓練された事前知識生成モデルP-Sは、CIFAR-10Sで79.70%の正確度を達成し、P（76.99%）と比較して知識抽出の向上を示した。
• MCLwPとMCLの性能差は、ラベル付きデータが限られる状況でMCLwPがMCLを下回るケースが半数にのぼることから、事前知識移譲の重要性を浮き彫りにした。
• 半教師付き適合は、事前知識モデルおよび生徒モデルの両方を向上させ、ラベルなしデータがMCLにおける知識移譲の質を効果的に向上させることを実証した。