[論文レビュー] Latent Variable Modeling with Diversity-Inducing Mutual Angular Regularization

Pengtao Xie, Yuntian Deng+1 more|arXiv (Cornell University)|Dec 23, 2015

Generative Adversarial Networks and Image Synthesis参考文献 102被引用数 6

ひとこと要約

本稿では、学習されたコンポonent間の相互角を増加させることで、多様性を促進することにより、潜在変数モデル（LVMs）の性能を向上させる、新しい相互角正則化項（MAR）を提案する。これにより、長尾パターンのカバレッジが向上し、冗長性が低減され、解釈可能性が向上する。本手法は非凸なMAR最適化の滑らかな下界を用い、制限付きボルツマンマシンおよび距離尺度学習において、性能の向上を示している。

ABSTRACT

Latent Variable Models (LVMs) are a large family of machine learning models providing a principled and effective way to extract underlying patterns, structure and knowledge from observed data. Due to the dramatic growth of volume and complexity of data, several new challenges have emerged and cannot be effectively addressed by existing LVMs: (1) How to capture long-tail patterns that carry crucial information when the popularity of patterns is distributed in a power-law fashion? (2) How to reduce model complexity and computational cost without compromising the modeling power of LVMs? (3) How to improve the interpretability and reduce the redundancy of discovered patterns? To addresses the three challenges discussed above, we develop a novel regularization technique for LVMs, which controls the geometry of the latent space during learning to enable the learned latent components of LVMs to be diverse in the sense that they are favored to be mutually different from each other, to accomplish long-tail coverage, low redundancy, and better interpretability. We propose a mutual angular regularizer (MAR) to encourage the components in LVMs to have larger mutual angles. The MAR is non-convex and non-smooth, entailing great challenges for optimization. To cope with this issue, we derive a smooth lower bound of the MAR and optimize the lower bound instead. We show that the monotonicity of the lower bound is closely aligned with the MAR to qualify the lower bound as a desirable surrogate of the MAR. Using neural network (NN) as an instance, we analyze how the MAR affects the generalization performance of NN. On two popular latent variable models --- restricted Boltzmann machine and distance metric learning, we demonstrate that MAR can effectively capture long-tail patterns, reduce model complexity without sacrificing expressivity and improve interpretability.

研究の動機と目的

• パターン人気のパワー則分布に起因する、潜在変数モデル（LVMs）における低頻度パターンのカバレッジ不足の課題に対処すること。
• 大規模で複雑なデータ上で学習される高容量LVMsにおいて、表現力に損なわれることなくモデルの複雑さを低減すること。
• 発見されたパターン間の冗長性と重複を最小限に抑えることで、LVMsにおける解釈可能性を向上させること。
• 潜在空間の幾何構造を相互角の多様性によって制御する非凸で非滑らかな正則化手法を開発すること。
• 最適化のための滑らかな代替関数を提供し、正則化項の有効性について理論的裏付けを示すこと。

提案手法

• 潜在変数モデルにおける潜在コンポonentが互いに大きな相互角を持つよう促進する、相互角正則化項（MAR）を提案する。
• 非凸で非滑らかなMARの滑らかな下界を導出することで、実用的な最適化を可能にする。
• 下界とMARの間の単調性を確立し、下界が最適化の信頼できる代替関数であることを検証する。
• MARをニューラルネットワークに適用し、一般化誤差への影響を理論的分析によって評価する。
• 2つの標準的なLVM（制限付きボルツマンマシン（RBMs）および距離尺度学習（DML））にMARを統合する。
• MARの滑らかな下界を用いて、確率的勾配降下法で正則化された目的関数を最適化する。

実験結果

リサーチクエスチョン

• RQ1 相互角正則化は、潜在変数モデルにおける低頻度の長尾パターンのカバレッジを効果的に向上させることができるか？
• RQ2 潜在コンポonent間の角の多様性を強制することで、パターンの冗長性が低減され、発見されたパターンの解釈可能性が向上するか？
• RQ3 高容量LVMsにおいて、表現力に損なわれることなく、MARはモデルの複雑さを低減できるか？
• RQ4 MARは、潜在空間モデリングにおけるニューラルネットワークの一般化性能にどのように影響するか？
• RQ5 MARの滑らかな下界は、元の非滑らかなMARの最適化に有効な代替関数として妥当かつ効果的か？

主な発見

• MARは、ベンチマークデータセット上での制限付きボルツマンマシンおよび距離尺度学習において、長尾パターンのカバレッジを顕著に向上させた。
• MARを適用したモデルは、学習済みコンポonent間の冗長性が低減され、より明確で重複の少ないパターンが得られることから、解釈性が向上した。
• MARにより、性能に損なわれることなくモデルの複雑さが低減されたことが、一般化性能の向上とパラメータ感度の低減によって示された。
• MARの滑らかな下界は、元のMARと単調性において密接に一致しており、最適化の実用的代替関数としての有効性が裏付けられた。
• ImageNetおよびWikipediaデータセットにおける実験結果から、MARがパターン発見タスクにおける検索精度を向上させるとともに、実行時間の複雑さを低減することが確認された。
• 一般化誤差の分析から、MARはニューラルネットワークベースのLVMsにおいて、潜在空間内の構造的多様性を促進することで、一般化性能を向上させた。