[論文レビュー] Superbloom: Bloom filter meets Transformer

John Roberts Anderson, Qingqing Huang+3 more|arXiv (Cornell University)|Feb 11, 2020

Topic Modeling参考文献 25被引用数 6

ひとこと要約

Superbloomは、大規模な語彙のカテゴリカル特徴（例：製品IDやエンティティID）をハッシュ化されたトークンとして表現する、独創的な手法を導入する。ハッシュ化されたダイジェストに深層Transformerを適用することで、文脈的理解を用いてハッシュ衝突を効果的に解消し、同程度のサイズの非ハッシュ化モデルや、同じ計算リソース制約下でサンプリングソフトマックスで訓練されたより大きなモデルよりも高い精度を達成する。

ABSTRACT

We extend the idea of word pieces in natural language models to machine learning tasks on opaque ids. This is achieved by applying hash functions to map each id to multiple hash tokens in a much smaller space, similarly to a Bloom filter. We show that by applying a multi-layer Transformer to these Bloom filter digests, we are able to obtain models with high accuracy. They outperform models of a similar size without hashing and, to a large degree, models of a much larger size trained using sampled softmax with the same computational budget. Our key observation is that it is important to use a multi-layer Transformer for Bloom filter digests to remove ambiguity in the hashed input. We believe this provides an alternative method to solving problems with large vocabulary size.

研究の動機と目的

• 機械学習における不透明なIDとして表現される大語彙のカテゴリカル特徴を扱う課題に取り組む。
• BERTにおけるサブワードトークン化（例：ワードピece）の成功を、ハッシングを用いて任意のカテゴリカルIDへと拡張する。
• 特徴ハッシングに起因するハッシュ衝突による曖昧性を、深層Transformerによる文脈モデリングによって克服する。
• ハッシュ化されたトークン空間を小さく保ちつつ、フルソフトマックスを訓練することで、大出力語彙における効率的で高精度な予測を可能にする。
• マルチレイヤーTransformerが、従来のハッシングベースの手法を上回る性能を示すことで、ハッシュ化された入力を効果的に解釈できることを示す。

提案手法

• 各不透明なIDを、より小さな空間内の複数のランダムハッシュ関数を用いて、複数のハッシュトークンにマッピングする。これはBloomフィルタ構造を模倣する。
• 各ハッシュトークンを学習可能な埋め込み表現で表現し、Transformerへの入力としての埋め込みシーケンスを構築する。
• マルチレイヤーTransformerエンコーダーを用いて、文脈を活用し、ハッシュ化されたトークン表現の依存関係と曖昧性を解消する。
• マスクされたトークンをその文脈から予測するためのマスク言語モデル学習目的関数を用いてモデルを訓練する。
• より小さなトークン空間での予測を高速化するため、効率的なビームサーチベースの推論アルゴリズムを提案する。
• BERTのワードピeceに加え、頻出のユニグラムおよびバイグラムを組み合わせ、100万語のベース語彙を構築する。

実験結果

リサーチクエスチョン

• RQ1 マルチレイヤーTransformerは、Bloomフィルタ構造に類似した構造から導かれるハッシュ化表現を、効果的に解釈できるか？
• RQ2 同じ計算リソース制約下で、元の大きな語彙に対してサンプリングソフトマックスを用いるのと比較して、より小さなハッシュ化トークン空間上でフルソフトマックスを訓練することは、性能向上に寄与するか？
• RQ3 ハッシュ化入力における高い衝突率を考慮した場合、Transformerアーキテクチャの深さは性能にどのように影響するか？
• RQ4 ハッシングと文脈モデリングを組み合わせることで、希少または未観測のエンティティに対しても意味のある表現を学習できるか？
• RQ5 高い衝突率（例：α=40）を示すランダムハッシングは、エンティティ表現において、一貫性のあるハッシング方式よりも効果的か？

主な発見

• Superbloomは、パラメータ数6260万の小さなベースラインBERTモデル（リコール@1：31.7%、リコール@10：48.3%、リコール@20：52.9%）を上回る性能を発揮する。
• 衝突率α=40でさえも、リコール@1：39.2%、リコール@10：58.5%、リコール@20：64.5%を達成し、パラメータ数2億5440万のはるかに大きなBERTモデル（リコール@1：37.2%）を上回る。
• 1層と12層のTransformer間の性能差は、ハッシュ化入力では非ハッシュ化入力よりも顕著に大きい。これは、深さが解釈のための鍵的要因であることを示唆する。
• モデルは名前付きエンティティの一般化性能が向上し、BERTが失敗する文の穴埋めタスクにおいても、特定のエンティティを正しく予測することができる。
• 提案されたビームサーチ推論アルゴリズムにより、より小さなトークン空間での高速かつ近似推論が可能となり、デプロイの効率性が向上する。
• 結果から、ハッシングはモデルのアテンションメカニズムを通じて、各エンティティごとに効果的で動的な容量割り当てを可能にする柔軟性を高められると示唆される。