[論文レビュー] Learning Dynamic Classes of Events using Stacked Multilayer Perceptron Networks

Nattiya Kanhabua, Huamin Ren+1 more|arXiv (Cornell University)|Jun 23, 2016

Text and Document Classification Technologies参考文献 20被引用数 5

ひとこと要約

本稿では、時間的文脈に基づき、予測可能、進行中、記念、ミーム、継続的、および時間的不在の6つの動的イベントクラスにクエリを分類するためのスタックドマルチレイヤーパーセプトロン（S-MLP）深層学習モデルを提案する。このモデルは、89%の平均平均適合率（MAP）を達成し、最先端手法を上回る性能を示し、特に「進行中」や「ミーム」イベントといったレアな、または一時的でないイベントの分類において優れた性能を発揮する。

ABSTRACT

People often use a web search engine to find information about events of interest, for example, sport competitions, political elections, festivals and entertainment news. In this paper, we study a problem of detecting event-related queries, which is the first step before selecting a suitable time-aware retrieval model. In general, event-related information needs can be observed in query streams through various temporal patterns of user search behavior, e.g., spiky peaks for popular events, and periodicities for repetitive events. However, it is also common that users search for non-popular events, which may not exhibit temporal variations in query streams, e.g., past events recently occurred, historical events triggered by anniversaries or similar events, and future events anticipated to happen. To address the challenge of detecting dynamic classes of events, we propose a novel deep learning model to classify a given query into a predetermined set of multiple event types. Our proposed model, a Stacked Multilayer Perceptron (S-MLP) network, consists of multilayer perceptron used as a basic learning unit. We assemble stacked units to further learn complex relationships between neutrons in successive layers. To evaluate our proposed model, we conduct experiments using real-world queries and a set of manually created ground truth. Preliminary results have shown that our proposed deep learning model outperforms the state-of-the-art classification models significantly.

研究の動機と目的

• リアルタイムの検索ストリームにおいて、強力な時間的パターンを示さない非一時的または低可視性のイベントに対して、イベント関連クエリを検出する課題に対処すること。
• データの不均衡とスケーラビリティの問題を克服し、クエリデータ内の複雑で非線形な関係を捉えるために深層学習を活用することで、希少なイベントタイプの分類を向上させること。
• イベントタイプがコンテンツだけでなく、クエリ送信時刻とイベント日付の時間的関係にも依存する動的分類フレームワークを構築すること。
• 従来のモデルが誤分類しがちな「ミーム」や「進行中」イベントなど、代表されないイベントタイプの分類性能を向上させること。
• 10,370件のアノテート済みインスタンスを含む実世界のクエリログにおいて、最小限の特徴工学を伴うエンドツーエンドの深層学習の有効性を示すこと。

提案手法

• 各マルチレイヤーパーセプトロンが学習ユニットとして機能するスタックドマルチレイヤーパーセプトロン（S-MLP）アーキテクチャを設計し、複雑な入出力関係をモデル化できる深層ネットワークを構築する。
• トレーニングにAdam最適化アルゴリズムを採用し、さまざまなトレーニングデータ比において優れた収束性と損失最小化を示した。
• 手動による特徴工学を一切行わず、生のクエリテキストと時間的メタデータ（ヒット時刻とイベント日付）を直接イベントクラスラベルにマッピングするエンドツーエンド学習を実装する。
• 交差検証を実施し、70%をトレーニング、30%をテストに割り当て、さらにトレーニングデータを90%の学習用と10%の検証用に分割してハイパーパramータチューニングを実施する。
• データの不均衡に対処するため、ランダムなオーバーサンプリングを避けて、全データセットをトレーニングに使用し、深層モデルの汎化能力に依存する。
• 将来の研究ではドロップアウト正則化を検討し、トレーニング中に隠れ層のニューロンをランダムに無効化することで、過学習を軽減し、モデルの頑健性を向上させることを目的とする。

実験結果

リサーチクエスチョン

• RQ1 時間的文脈（過去、未来、継続的、記念など）に基づいて変化する動的イベントクラスに、深層学習モデルが効果的にクエリを分類できるか。
• RQ2 S-MLPモデルは、多様なイベントタイプを含む不均衡な実世界のクエリログにおいて、ナイーブベイズやSVMなどの従来の分類器と比較して、どのように性能を発揮するか。
• RQ3 深層学習は、「ミーム」や「進行中」イベントのように、明確な時間的ピークや周期性を示さない、微細な非一時的パターンをどの程度捉えることができるか。
• RQ4 複数のマルチレイヤーパーセプトロンユニットをスタックすることで、特に希少または検出が難しいイベントタイプの分類性能が向上するか。
• RQ5 S-MLPの異なる隠れ層にドロップアウト正則化を効果的に適用することで、スパースなクエリログにおける過学習を軽減し、汎化性能を向上させることができるか。

主な発見

• S-MLPモデルは、多クラスイベント分類において89%の平均平均適合率（MAP）を達成し、ナイーブベイズ（47%）、LibSVM（51%）、標準的なMLP（69%）を大きく上回った。
• モデルは特に「進行中」および「ミーム」イベントの分類において優れた性能を示し、従来のモデルが失敗する非一時的で可視性の低いイベントの検出能力を強調した。
• Adam最適化法は、全トレーニングデータ比において最良の収束性と最小の損失を示し、S-MLPのトレーニングに最適な選択肢であることが判明した。
• 深さの増したアーキテクチャにおいて性能が向上したことを確認し、複数の非線形層をスタックすることで、クエリとイベントタイプの間の複雑な関係を学習する能力が向上することを裏付けた。
• オーバーサンプリングを一切行わず、データの不均衡を効果的に処理した。これは、全代表的データセットを用いてトレーニングされた深層学習モデルが、希少イベントクラスに対しても汎化可能であることを示唆している。
• 将来の研究では、ドロップアウト正則化が、特にニューロンの共適応を防ぎ、ノイズやスパースなクエリログにおける過学習を軽減する点でさらなる汎化性能向上に寄与する可能性がある。