[論文レビュー] Sparse Penalty in Deep Belief Networks: Using the Mixed Norm Constraint

Xanadu Halkias, Sébastien Paris+1 more|arXiv (Cornell University)|Jan 16, 2013

Bayesian Modeling and Causal Inference被引用数 16

ひとこと要約

本稿では、深層信念ネットワーク（DBNs）におけるスパarsityを強制するために、混合ノルム正則化（l1,2）を提案する。非重複および重複する隠れユニットのグループに適用し、文字認識タスクにおける特徴抽出と分類精度の向上を達成する。最適な性能は、大きなグループサイズ（例：10–100ユニット）で得られ、MNISTでは最大98.83%の精度を達成した。一方、重複グループでは過剰なスパarsityにより精度が低下した。

ABSTRACT

Deep Belief Networks (DBN) have been successfully applied on popular machine learning tasks. Specifically, when applied on hand-written digit recognition, DBNs have achieved approximate accuracy rates of 98.8%. In an effort to optimize the data representation achieved by the DBN and maximize their descriptive power, recent advances have focused on inducing sparse constraints at each layer of the DBN. In this paper we present a theoretical approach for sparse constraints in the DBN using the mixed norm for both non-overlapping and overlapping groups. We explore how these constraints affect the classification accuracy for digit recognition in three different datasets (MNIST, USPS, RIMES) and provide initial estimations of their usefulness by altering different parameters such as the group size and overlap percentage.

研究の動機と目的

• 深層信念ネットワーク（DBNs）における特徴表現と分類精度の向上を、混合ノルム正則化によるスパarsityの強制によって実現すること。
• 特に非重複および重複するグループ構造が、文字認識におけるモデル性能に与える影響を調査すること。
• DBNアーキテクチャにおけるRBM隠れユニットに混合ノルム制約（l1,2）を適用する実用的フレームワークを提供すること。
• 異なるグループサイズおよび重複率の下での、分類精度と計算コストのトレードオフを評価すること。

提案手法

• 制限ボルツマンマシン（RBMs）内の隠れユニットの活性確率にl1,2混合ノルム正則化を適用する。
• グループ単位のスパarsityを実現するため、隠れユニットを非重複または重複するグループに分割し、グループサイズを5、10、20、50、100とする。
• 正則化パラメータλ = 0.1を固定として、負の対数尤度に対する勾配降下法により正則化を実装する。
• RBMの効率的訓練のため、コントラストダイバージェンス（CD）を用い、ソフトマックス出力層に対して共役勾配法を用いてDBN全体のファインチューニングを行う。
• MNIST、USPS、RIMESデータセットで事前学習された500-500-2000のDBNアーキテクチャに本手法を適用する。
• バッチ処理により平均活性確率密度関数を計算し、スパarsityパターンの可視化と分析に用いる。

実験結果

リサーチクエスチョン

• RQ1 混合ノルム正則化（l1,2）の適用が、手書き数字認識におけるDBNsの分類精度に与える影響は何か？
• RQ2 グループサイズ（5、10、20、50、100）を変化させた非重複グループ構成において、性能とスパarsityにどのような影響があるか？
• RQ3 20%および50%の重複率を持つ重複グループは、非重複グループと比較して、精度と計算コストの面でどのように異なるか？
• RQ4 混合ノルム正則化により、隠れユニットにおける構造的スパarsityを促進することで、特徴学習が向上するか？
• RQ5 異なるスパarsity制約を適用した場合の、モデルの精度と学習時間のトレードオフは何か？

主な発見

• 提案された混合ノルムDBNは、MNISTデータセットで98.83%の分類精度を達成し、標準DBNと同等の性能を示した。
• 非重複グループ構成では、大きなグループサイズ（10–100）で最も高い精度が得られ、グループサイズ10では98.83%、100では98.80%であった。
• 重複グループ構成では顕著に低い精度が得られ、MNISTでは20/20%で95.10%、20/50%で93.50%であった。これは過剰なスパarsityが活性化確率を0に近づけるためである。
• 重複グループでは計算コストが上昇し、RIMESおよびMNISTにおいて一部の構成で60時間を超える学習時間がかかった。
• 活性確率の可視化結果から、重複グループモデルは活性化確率を0に強く押し込む傾向にあり、過剰なプルーニング（剪定）が生じていることが示された。
• l1,2正則化は構造的スパarsityを可能にしたが、その有効性はグループサイズと重複率に極めて敏感であり、最適な性能は大きな非重複グループで得られた。