[論文レビュー] Feature Grouping as a Stochastic Regularizer for High-Dimensional Structured Data

Sergül Aydöre, Bertrand Thirion+1 more|arXiv (Cornell University)|Jul 31, 2018

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

本稿では、特徴量の相関をクラスタリングによってグループ化し、確率的勾配降下法（SGD）の過程でランダムに適用する確率的正則化手法を提案する。この手法は、ノイズ除去正則化として効果的に機能し、fMRI や顔画像のような高次元・小標本設定において汎化性能と収束速度を向上させる。$β$-正則化、ドロップアウト、畳み込みニューラルネットワーク（CNN）を凌駕し、特に高ノイズおよび小標本環境下で優れた性能を示す。

ABSTRACT

In many applications where collecting data is expensive, for example neuroscience or medical imaging, the sample size is typically small compared to the feature dimension. It is challenging in this setting to train expressive, non-linear models without overfitting. These datasets call for intelligent regularization that exploits known structure, such as correlations between the features arising from the measurement device. However, existing structured regularizers need specially crafted solvers, which are difficult to apply to complex models. We propose a new regularizer specifically designed to leverage structure in the data in a way that can be applied efficiently to complex models. Our approach relies on feature grouping, using a fast clustering algorithm inside a stochastic gradient descent loop: given a family of feature groupings that capture feature covariations, we randomly select these groups at each iteration. We show that this approach amounts to enforcing a denoising regularizer on the solution. The method is easy to implement in many model architectures, such as fully connected neural networks, and has a linear computational cost. We apply this regularizer to a real-world fMRI dataset and the Olivetti Faces datasets. Experiments on both datasets demonstrate that the proposed approach produces models that generalize better than those trained with conventional regularizers, and also improves convergence speed.

研究の動機と目的

• 神経画像診断や医療応用で一般的な高次元・小標本データセットにおける過学習を緩和すること。
• 複雑なモデルに特化したカスタムソルバを必要とせず、特徴量の相関を活用する構造的正則化手法の開発。
• SGD を用いた非凸モデル（例：深層ニューラルネットワーク）において、効率的な正則化を可能とすること。
• fMRI や顔画像などの現実世界のデータにおけるノイズと標本数の制限に対するモデルのロバスト性を向上させること。
• 計算効率が高く、標準的なディープラーニングフレームワークと互換性のある、即挿入型の正則化手法の提供。

提案手法

• 特徴量間の相関に基づいて、高速なクラスタリングアルゴリズムを用いて特徴量をグループ化し、データの潜在的構造を捉える。
• 各SGD更新ステップで、これらの特徴量グループをランダムにサンプリングすることで最適化プロセスに確率性を導入する。
• グループ化された特徴量を入力レベルのデータオーグメンテーションとして適用し、入力空間を滑らかにする。
• 特徴量クラスタの平均化により、ノイズの強い特徴量への感受性が低下するため、暗黙的にノイズ除去正則化を実現する。
• 線形計算コストでSGDループに統合可能であり、ネットワーク構造の変更は不要。
• 任意のモデルアーキテクチャ（深層ネットワークを含む）と互換性があり、パrameter数が最も高い入力層で動作する。

実験結果

リサーチクエスチョン

• RQ1 相関に基づく特徴量のグループ化は、高次元・小標本設定において効果的で汎用的な正則化手法として機能するか？
• RQ2 提案手法の確率的正則化は、$β$-正則化やドロップアウトといった標準的正則化と比較して、汎化性能および収束速度において優れているか？
• RQ3 本手法は、現実の神経画像診断およびビジョンデータセットにおけるノイズと小標本サイズの制限に対して、ロバスト性を向上させるか？
• RQ4 本正則化は、特別なソルバを必要とせず、非凸モデル（例：深層ニューラルネットワーク）に効率的に適用可能か？
• RQ5 従来手法と比較して、本手法の計算コストおよびメモリ使用量はどの程度か？

主な発見

• オリベッティ・フェイスズデータセットにおいて、高ノイズ下で$β$-正則化、ドロップアウト、CNN よりも高いテスト精度を達成し、収束が速かった。
• HCP-small fMRI データセットでは、訓練サンプル数が少ない低標本環境下で、すべてのベースラインを上回った。
• 特徴量グループ化手法から得られた重みは、他の正則化手法と比較して視覚的にノイズが少なく、高ノイズ環境下での優れた性能を説明している。
• 高ガウスノイズ下でも高い精度を維持したため、データ破損に対する強いロバスト性を示した。
• 正則化の計算コストは特徴量次元に対して線形であり、従来手法と比較してメモリ使用量を削減した。
• CNN がトランスレーション不変性のインダクティブバイアスを有するにもかかわらず、fMRI データでは本手法が CNN よりも優れた汎化性能を達成した。