[論文レビュー] Uncertainty Estimates for Ordinal Embeddings

Michael Lohaus, Philipp Hennig+1 more|arXiv (Cornell University)|Jun 27, 2019

Gaussian Processes and Bayesian Inference参考文献 27被引用数 4

ひとこと要約

本稿では、限られたノイズの多い三項データ下での順序埋め込みにおけるブートストラップおよびベイジアン不確実性推定手法を提案する。埋め込みの分布を生成することで、三項予測、埋め込みパラメータ、および心理学的応用分野における適切にキャリブレーションされた不確実性評価が可能になるが、テストされたシナリオではアクティブラーニングへの応用においては限定的な利点にとどまる。

ABSTRACT

To investigate objects without a describable notion of distance, one can gather ordinal information by asking triplet comparisons of the form "Is object $x$ closer to $y$ or is $x$ closer to $z$?" In order to learn from such data, the objects are typically embedded in a Euclidean space while satisfying as many triplet comparisons as possible. In this paper, we introduce empirical uncertainty estimates for standard embedding algorithms when few noisy triplets are available, using a bootstrap and a Bayesian approach. In particular, simulations show that these estimates are well calibrated and can serve to select embedding parameters or to quantify uncertainty in scientific applications.

研究の動機と目的

• 少数のノイズを含む三項データでの順序埋め込み手法における不確実性評価の欠如に対処すること。
• 実世界の科学的および心理物理学的応用に適用可能な、適切にキャリブレーションされた経験的不確実性推定を開発すること。
• 不確実性推定が、最適な埋め込み次元などの埋め込みパラメータ選択を支援できるかどうかを評価すること。
• 不確実性推定が三項選択におけるアクティブラーニングの有効性にどのように寄与するかを評価すること。
• データが不足する状況下での順序埋め込み結果に対する信頼性のある不確実性評価フレームワークを提供すること。

提案手法

• ノイズを含む三項データを再サンプリングすることで複数の埋め込みを生成し、点の位置における経験的分散を計算することでブートストラップ的手法を適用する。
• ガウス過程を用いたベイジアン非パラメトリックモデルを用いて、知覚関数の事後分布を推定し、埋め込みにおける不確実性を導出する。
• ブートストラップおよびベイジアンサンプル間での一貫性を確保するため、埋め込みをスケールおよび回転不変性から正規化する。
• ブートストラップサンプル間での平均位置および標準偏差を計算し、各データポイントごとの不確実性を定量化する。
• 不確実性推定値を用いて、アクティブラーニングの文脈で最も情報量の多い三項を順位付け・選択する。
• 複数回の試行における予測区間のカバレッジレートを用いて、不確実性のキャリブレーションを評価する。

実験結果

リサーチクエスチョン

• RQ1 少数のノイズを含む三項データでの順序埋め込みに対して、ブートストラップおよびベイジアン手法が適切にキャリブレーションされた不確実性推定を提供できるか。
• RQ2 不確実性推定は、埋め込み次元やその他のハイパーパrameterの選択を支援するためにどの程度有効か。
• RQ3 不確実性推定は、順序埋め込みタスクにおけるアクティブラーニングのパフォーマンスをどの程度向上させられるか。
• RQ4 ノイズを含む人間の知覚データを用いた心理物理学実験において、不確実性推定はどのように機能するか。
• RQ5 不確実性推定は、三項反応のノイズおよび知覚的ばらつきの程度が異なる状況でも頑健であるか。

主な発見

• ブートストラップおよびベイジアン不確実性推定は適切にキャリブレーションされており、予測区間が名目上の水準に近い頻度で真の三項結果をカバーしている。
• 知覚的ばらつきが高くなる（GPカーネルの長さスケールが短くなる）ほど不確実性が増加し、三項反応の不一致が顕著に反映されている。
• 特にデータが少ない状況下では、ブートストラップ手法を用いた不確実性推定が適切な埋め込み次元を示唆するのに成功している。
• 良好なキャリブレーションが得られたものの、アクティブラーニングにおいては不確実性に基づく選択が限定的な改善をもたらしたにとどまり、ランダムな三項選択がしばしば優れていた。
• 心理物理学的応用においても、被験者間で知覚関数が異なることや三項回答がノイズを含む状況でも、意味のある不確実性が適切に評価された。
• 本フレームワークは、2,000個の三項データでさえも、点の位置および三項予測の両方に対して信頼性のある不確実性評価を可能にしている。