[論文レビュー] MSplit LBI: Realizing Feature Selection and Dense Estimation Simultaneously in Few-shot and Zero-shot Learning

Bo Zhao, Xinwei Sun+3 more|arXiv (Cornell University)|Jun 12, 2018

Domain Adaptation and Few-Shot Learning被引用数 15

ひとこと要約

本論文は、特徴量をスパースな強信号、密度の高い弱信号、およびランダムノイズに分解する新しい正則化手法MSplit LBIを提案する。この手法により、少サンプル学習およびゼロショット学習において、同時に特徴選択と密度推定が可能になる。L1（Lasso）およびL2（Ridge）正則化を凌駕し、OmniglotおよびSUNデータセットで最先端の精度を達成する。これは強信号と弱信号の両方の寄与を活用しているためである。

ABSTRACT

It is one typical and general topic of learning a good embedding model to efficiently learn the representation coefficients between two spaces/subspaces. To solve this task, $L_{1}$ regularization is widely used for the pursuit of feature selection and avoiding overfitting, and yet the sparse estimation of features in $L_{1}$ regularization may cause the underfitting of training data. $L_{2}$ regularization is also frequently used, but it is a biased estimator. In this paper, we propose the idea that the features consist of three orthogonal parts, \\emph{namely} sparse strong signals, dense weak signals and random noise, in which both strong and weak signals contribute to the fitting of data. To facilitate such novel decomposition, \\emph{MSplit} LBI is for the first time proposed to realize feature selection and dense estimation simultaneously. We provide theoretical and simulational verification that our method exceeds $L_{1}$ and $L_{2}$ regularization, and extensive experimental results show that our method achieves state-of-the-art performance in the few-shot and zero-shot learning.

研究の動機と目的

• 少サンプルおよびゼロショット学習におけるL1およびL2正則化の限界を解消すること。L1は弱信号を無視することで不足適合を引き起こし、L2はバイアスを導入する。
• 特徴量を強信号、弱信号、ノイズという3つの直交成分としてモデル化することで、同時に特徴選択と正確なデータフィッティングを実現する手法の開発。
• 理論的および実験的に、提案手法MSplit LBI推定器がL2よりバイアスが低く、L1と同様に効果的な特徴選択を可能にすることの検証。
• 実世界のデータセットを用いた少サンプルおよびゼロショット学習タスクにおける線形埋め込みモデルへのMSplit LBIの有効性の実証。

提案手法

• MSplit LBIは、特徴量をスパースな強信号、密度の高い弱信号、およびランダムノイズという3つの直交成分に分解する。これを実現するための新しい最適化フレームワークを採用する。
• 2段階の推定プロセスを採用する：まずスパース正則化により強信号を特定し、次に密度の高い収縮により弱信号を推定する。両者とも直交制約を満たす。
• 予測誤差を同時に最小化するとともに、3つの成分間の直交性を強制する正則化最適化問題を定式化する。
• 非凸最適化を効率的に解くために、修正されたLBI（Linearized Bregman Iteration）フレームワークを用いる。これにより、安定的かつスケーラブルな計算が可能になる。
• 画像特徴量がラベル空間または意味的空間にマッピングされる少サンプルおよびゼロショット学習の線形埋め込みモデルに、本手法を統合する。
• 理論的分析により、MSplit LBI推定器はL2正則化よりもバイアスが低く、L1と同様に特徴選択をサポートすることが示され、L1およびL2の長所を統合する。

実験結果

リサーチクエスチョン

• RQ1 正則化手法は、少サンプルおよびゼロショット学習において、同時に特徴選択と密度推定を達成できるか？
• RQ2 特徴量を強信号、弱信号、ノイズという3つの直交成分としてモデル化することで、標準的なL1およびL2正則化を上回る一般化性能が向上するか？
• RQ3 提案されたMSplit LBI推定器は、L2正則化よりもバイアスが低く、同時に効果的な特徴選択を可能にするか？
• RQ4 MSplit LBIは、少サンプルおよびゼロショット学習のベンチマークで最先端の性能を達成できるか？

主な発見

• Omniglotデータセットにおいて、MSplit LBIのフル推定器（β）は5ウェイ1ショット学習で61.47％の精度を達成し、Lasso（59.09％）およびRidge（59.32％）を上回った。
• SUNデータセットにおける5ウェイ1ショット分類では、MSplit LBI（β）が61.47％の精度を達成し、弱信号を除外するバージョン（β̃）に比べ2.15％の向上を示した。
• Omniglotにおける5ウェイ1ショットおよび5ショット設定において、MSplit LBIはLassoを上回ったが、次元削減後の強信号の優位性により、20ウェイ1ショット設定ではRidgeがより良い性能を示した。
• 複数の少サンプルおよびゼロショット学習ベンチマークで、MSplit LBIは最先端の性能を達成し、強信号と弱信号を同時にモデル化することの利点を示した。
• 理論的分析により、MSplit LBIはL2正則化よりもバイアスが低く、特徴選択をサポートすることが確認された。L1およびL2の利点を統合する。
• 微調整は性能向上に顕著な寄与を示さず、一部のケースでは性能が低下する傾向も示した。これは、線形モデルにMSplit LBIを組み込むことで、微調整なしにも頑健かつ効果的な性能が得られることを示唆している。