[論文レビュー] Analyzing Hypersensitive AI: Instability in Corporate-Scale Machine Learning

Michaela Regneri, Malte Hoffmann+4 more|arXiv (Cornell University)|Jul 17, 2018

Topic Modeling参考文献 14被引用数 4

ひとこと要約

本稿では、トポロジー的および出力一貫性指標を組み合わせることで、特に word2vec における企業規模の幾何的機械学習モデルの不安定性を測定する感度分析フレームワークを提案する。ハイアラルキー・ソフトマックス（HS）は分散を低減するが、ネガティブ・サンプリングは感受性を高め、稀な関連性や驚きのある関連性を持つ個々のデータポイントは、モデル出力を著しく変化させ、高情報量のデータポイントの特定を可能にする。

ABSTRACT

Predictive geometric models deliver excellent results for many Machine Learning use cases. Despite their undoubted performance, neural predictive algorithms can show unexpected degrees of instability and variance, particularly when applied to large datasets. We present an approach to measure changes in geometric models with respect to both output consistency and topological stability. Considering the example of a recommender system using word2vec, we analyze the influence of single data points, approximation methods and parameter settings. Our findings can help to stabilize models where needed and to detect differences in informational value of data points on a large scale.

研究の動機と目的

• 信頼性と再現可能性が極めて重要な大規模産業用機械学習システムにおけるモデル不安定性の増大という課題に対処すること。
• 特に word2vec を含む幾何的モデルにおける不安定要因を、入力データの変化とアルゴリズム的近似手法の影響に分離すること。
• パラメータやデータの摂動に対する、埋め込みのトポロジー的変化と出力の一貫性を定量的に測る、スケーラブルで応用指向の指標を開発すること。
• モデルの不安定性に最も寄与するデータポイントを同定し、データ品質の評価とモデル安定化を促進すること。
• データポイントのビジネス的価値を、そのモデル安定性およびパフォーマンスへの影響に基づいて予測・測定する基盤を構築すること。

提案手法

• 著者らは、eコマースのクリックストリームデータに基づいて学習された word2vec 埋め込みを用いたハイブリッドレコメンデーションシステムを適用し、アイテム間の推薦をモデル化する。
• トポロジカル・データ解析（TDA）指標として、クラスタ数、ノイズポイント数、クラスタ純度を用いて、埋め込み空間内の構造的変化を評価する。
• 出力の一貫性は、1つのデータポイントを除いて学習したモデルと、異なるハイパーパrameterを用いて学習したモデルとの間で上位10件の推薦の重複度を測定することで評価する。
• 個々のデータポイントがモデル出力およびトポロジーに与える影響を隔離するために、1つずつデータを除いた感度分析（leave-one-out）を実施する。
• 制御された条件下で、2つの近似手法（ハイアラルキー・ソフトマックス（HS）とネガティブ・サンプリング）を比較し、安定性への影響を評価する。
• word2vec のランダム性を排除するために、ハフマン木とランダムシードを固定し、実行間での再現性のある比較を可能にする。

実験結果

リサーチクエスチョン

• RQ1 異なる近似手法（例：ハイアラルキー・ソフトマックス対ネガティブ・サンプリング）は、word2vec 埋め込みの安定性にどのように影響するか？
• RQ2 個々のデータポイント、特にレアまたは意味論的に複雑な関連性を持つもの—は、最終的なモデル構造と出力にどの程度影響を与えるか？
• RQ3 埋め込み空間のトポロジカル特性（例：クラスタ数、クラスタ純度）は、出力の一貫性およびモデル感受性とどの程度相関するか？
• RQ4 入力データの変動によって生じる不安定性と、アルゴリズム的近似戦略によって生じる不安定性を区別できるか？
• RQ5 データポイントの情報密度と、モデル安定性および出力品質へのその影響との関係は何か？

主な発見

• ハイアラルキー・ソフトマックス（HS）におけるハフマン木の固定により、word2vec における分散が完全に解消され、同一の入力データに対して完全に再現可能な結果が得られる。
• ネガティブ・サンプリングは、データ変化に対して感受性が高く、HS は出力およびトポロジカルな安定性を維持する。
• 埋め込み空間におけるクラスタ数は、モデル間で顕著に変動し、ハミング距離とハフマン符号の両方が高い場合に大きな変化が観察される。
• ノイズポイントの平均数は、143,416 ± 99 とほぼ一定であり、トポロジー的分析の安定したベースラインを示している。
• クラスタ純度は、すべての埋め込みで平均 0.910 ± 0.002 であり、より少ない数でより一貫性のあるクラスタを形成するモデルで純度が高くなる傾向がある。
• 局所的な埋め込み密度は、推薦の重複度と負の相関関係にある：密度の高い領域では、品質の損失を伴わずにも、推薦のばらつきが許容される。