[論文レビュー] Classification of Sets using Restricted Boltzmann Machines

Jérôme Louradour, Hugo Larochelle|arXiv (Cornell University)|Mar 25, 2011

Music and Audio Processing参考文献 15被引用数 14

ひとこと要約

本稿では、メールの文書や画像セグメントなどの順序なしで長さが可変なベクトル集合（例：複数の文書を含むメール）の多クラス分類を目的として、潜在変数を用いて集合レベルの表現をモデル化する、制限ボルツマンマシン（RBMs）の新規変種を提案する。主な貢献は、集合の要素間で部分的証拠を扱えるように設計されたRBMs拡張（ClassSetRBM-ORおよびClassSetRBM-AND）であり、複数インスタンス学習（MIL）ベンチマークおよび実世界のメール分類タスクにおいて、競争力ある性能を達成している。

ABSTRACT

We consider the problem of classification when inputs correspond to sets of vectors. This setting occurs in many problems such as the classification of pieces of mail containing several pages, of web sites with several sections or of images that have been pre-segmented into smaller regions. We propose generalizations of the restricted Boltzmann machine (RBM) that are appropriate in this context and explore how to incorporate different assumptions about the relationship between the input sets and the target class within the RBM. In experiments on standard multiple-instance learning datasets, we demonstrate the competitiveness of approaches based on RBMs and apply the proposed variants to the problem of incoming mail classification.

研究の動機と目的

• 順序なしで長さが可変なベクトル集合（例：メールに含まれる複数の文書や画像セグメント）を入力として分類する課題に対処すること。
• 従来の複数インスタンス学習（MIL）では、分類に十分な1つの正例で十分とされるが、複数の部分的信号が必要となる状況をモデル化することで、その制限を克服すること。
• 入力集合の結合的表現とクラスラベルを学習できる新しいRBMsアーキテクチャを開発し、入力集合の完全なベクトル化を必要とせずに多クラス分類を可能にすること。
• 個々の集合要素がクラス所属に寄与する方法について、OR/AND論理に基づく構造的仮定を組み込み、証拠集積の柔軟なモデル化を可能にすること。
• 標準的なMILデータセットおよび実世界の受信メール分類タスクにおいて、提案手法の有効性を実証し、既存手法と比較して競争力ある性能を示すこと。

提案手法

• 集合の分類を目的とした、ClassSetRBM-ORおよびClassSetRBM-ANDという2つの新しいRBMs変種を提案する。
• 集合内の要素のいずれかがクラス条件を満たすかどうかをモデル化するための補助的バイナリ隠れユニット（G）を導入し、GとHユニット間の排他的かつ階層的な制約を課す。
• 隠れ状態の周辺化にソフトプラスおよびソフトマックス演算を用いることで、両モデルの解析的自由エネルギー関数を導出。これにより、効率的な推論と学習が可能になる。
• エネルギーに基づくモデルフレームワークを採用。入力集合X、クラスラベルy、隠れユニットHおよびGの上での結合確率分布を定義。エネルギー関数E(X, y, H, G)は重みW、U、b、c、dを含む。
• 勾配に基づく学習を適用。対数尤度の確率的近似を用い、効率的な学習が可能な条件付き分布を活用する。
• ClassSetRBM-ORの場合、自由エネルギーはF^OR(X, y) = -d^T y - sum_j softplus(U_j·y + softmax_j(X)) で与えられ、softmax_j(X)はj番目の隠れユニットにわたるすべての集合要素からの証拠を集約する。

実験結果

リサーチクエスチョン

• RQ1 個々の要素がクラス所属について部分的証拠しか提供しない状況において、RBMsを用いたモデルがベクトル集合の分類を効果的に行えるか？
• RQ2 ORおよびAND論理に基づく構造的仮定を、生成的確率モデル（例：RBMs）にどのように組み込むことができるか？
• RQ3 提案されたセット-RBMアーキテクチャは、標準的なベンチマークデータセットにおいて、標準的なMILベースラインを上回る性能を示すか？
• RQ4 本モデルは、入力がテキスト文書の集合である実世界のアプリケーション（例：受信メール分類）に一般化可能か？
• RQ5 固定サイズのベクトルに集約するのではなく、集合の潜在的表現をモデル化することの影響は何か？

主な発見

• 提案されたClassSetRBM-ORおよびClassSetRBM-ANDモデルは、標準的な複数インスタンス学習（MIL）データセットにおいて、競争力ある性能を達成しており、ベースラインMIL手法を上回るか同等の性能を示している。
• MILが少なくとも1つの完全な正例を必要とするのに対し、本モデルは集合要素のサブセットに部分的証拠が存在する状況でも、頑健に動作することが示された。
• メール分類タスクにおいて、1通のメールに含まれる複数の文書特徴を効果的に活用し、単純なbag-of-words集約法よりも分類精度が向上した。
• 自由エネルギー関数は解析的に扱いやすく、可変長の入力集合に対しても効率的な学習と推論を可能にしている。
• 自由エネルギーにソフトプラスおよびソフトマックス演算を用いることで、集合要素にわたる証拠の微分可能な集約が可能となり、エンドツーエンド学習を支援する。
• 隠れユニットの寄与要因を因数分解し、排他的性などの論理的制約を強制することで、明示的な特徴工学を伴わずに構造的推論が可能になった。