[論文レビュー] Structured Embedding Models for Grouped Data

Maja Rudolph, Francisco Ruíz+2 more|arXiv (Cornell University)|Sep 28, 2017

Media Influence and Politics参考文献 32被引用数 6

ひとこと要約

この論文は、階層的モデリングまたはアンモタイゼーションを介してグループ間で統計的パワーを共有することで、グループ固有の単語埋め込みを学習する構造的指数型族埋め込み（s-efe）を導入する。s-efeは、ホールドアウトデータの予測において標準的な指数型族埋め込み（efe）を上回り、議会の州、政党、およびArXivのセクションにおける語の使用法の違いを解釈可能に同定できる。

ABSTRACT

Word embeddings are a powerful approach for analyzing language, and exponential family embeddings (EFE) extend them to other types of data. Here we develop structured exponential family embeddings (S-EFE), a method for discovering embeddings that vary across related groups of data. We study how the word usage of U.S. Congressional speeches varies across states and party affiliation, how words are used differently across sections of the ArXiv, and how the co-purchase patterns of groceries can vary across seasons. Key to the success of our method is that the groups share statistical information. We develop two sharing strategies: hierarchical modeling and amortization. We demonstrate the benefits of this approach in empirical studies of speeches, abstracts, and shopping baskets. We show how S-EFE enables group-specific interpretation of word usage, and outperforms EFE in predicting held-out data.

研究の動機と目的

• 米国の州、政党、または科学分野のような関連するグループ間での語の使用法の変化をモデル化すること。
• 個々のグループに特化したモデルによる過学習を避けるために、データが少ないグループにおいても統計的パワーをグループ間で共有することで、データ不足に対処すること。
• 言語および共起パターンにおける意味的変化の解釈可能なグループ固有の分析を可能にすること。
• 指数型族埋め込み（efe）を、原則的な共有メカニズムを備えた構造的グループ化データに拡張すること。
• 実世界のテキストおよび取引データにおいて、予測性能と解釈可能性の両面で本手法の優位性を示すこと。

提案手法

• 各グループごとに別々の埋め込みベクトルを学習するが、すべてのグループで文脈ベクトルを共有する、efeの拡張版であるs-efeを提案する。
• グループ固有の埋め込みをグローバルな事前分布に結びつける階層的モデリングを用い、共有されたハイパーパrameter構造を通じて情報共有を可能にする。
• ニューラルネットワーク（特に残差ネットワーク）を用いたアンモタイゼーションにより、グローバルな埋め込みからグループ固有の埋め込みへのマッピングを実現し、パラメータ数を削減する。
• 大規模データセット（議会演説や雑貨取引ログなど）にスケーリングするため、確率的最適化を適用する。
• すべてのグループで文脈ベクトルを共有することで、埋め込みが同じ潜在空間に整合されるようにし、意味のある比較を可能にする。
• マーケットバスケットデータの共起モデルにはポisson尤度を、テキストデータには多項分布尤度を用いる。

実験結果

リサーチクエスチョン

• RQ1 米国の州や政党のようなグループ間で語の使用法の意味的変化をどのようにモデル化できるか？
• RQ2 データ量にばらつきがあるグループ間で、効果的な統計的共有を実現するメカニズムは何か？
• RQ3 階層的モデリングとアンモタイゼーションは、グループ数の異なる状況下で性能とスケーラビリティにおいてどのように比較されるか？
• RQ4 標準的なefeと比較して、s-efeはホールドアウトデータの予測性能を向上させられるか？
• RQ5 特定のグループ間で最も使用法が異なるとされる語は何か？そしてそれらの差異は意味的に解釈可能か？

主な発見

• s-efeは、ArXivの要約、米国議会の演説、雑貨マーケットバスケットデータという3つのすべてのデータセットで、ホールドアウト尤度の対数において標準的なefeを上回った。
• 残差ネットワークを用いたアンモタイズドs-efeモデルは、すべての実験でフィードフォワードネットワークを上回り、とりわけ微細なグループ固有の変化を捉える点で優れた性能を示した。
• テキサス州の共和党政権の上院議員は、他の上院議員とは異なる文脈で『border』と『our country』という語を使用しており、s-efeによって同定された。
• ArXivにおいて、『intelligence』という語はコンピュータサイエンス分野では『artificial』や『ai』と関連づけられるが、定量ファイナンス分野では『abilities』や『consciousness』と関連づけられるなど、分野特有の意味的シフトが明らかになった。
• 多くのグループがある状況では階層的s-efeモデルが優れていたが、グループ数が少ない場合にはパラメータ効率が高いため、アンモタイズドs-efeがより効果的であった。
• s-efeは、単なる頻度効果を超えて、州や政党固有の語の使用法の違いを的確に同定した。例えば、『washington』という語は、州によっては『president』や『dc』と関連づけられることが明らかになった。