[論文レビュー] Sampling Through the Lens of Sequential Decision Making

Jason Dou, Alvin Qingkai Pan+4 more|arXiv (Cornell University)|Jan 1, 2022

Data Stream Mining Techniques被引用数 7

ひとこと要約

本論文は、認知科学におけるシステム1（ヒューリスティックに基づく）およびシステム2（熟考的）思考を想起させることで、表現学習におけるサンプリングを段階的意思決定問題としてモデル化する強化学習ベースのフレームワーク、Adaptive Sampling with Reward (ASR) を提案する。ASR は、累積報酬を最大化するためにポリシー勾配法を用いて動的にサンプル選択を最適化し、3つのベンチマークデータセットにおいて情報検索およびクラスタリングタスクで最先端の性能を達成した。また、ポリシー初期化時に顕著な「ASR グラビティウェル」現象が観察された。

ABSTRACT

Sampling is ubiquitous in machine learning methodologies. Due to the growth of large datasets and model complexity, we want to learn and adapt the sampling process while training a representation. Towards achieving this grand goal, a variety of sampling techniques have been proposed. However, most of them either use a fixed sampling scheme or adjust the sampling scheme based on simple heuristics. They cannot choose the best sample for model training in different stages. Inspired by "Think, Fast and Slow" (System 1 and System 2) in cognitive science, we propose a reward-guided sampling strategy called Adaptive Sample with Reward (ASR) to tackle this challenge. To the best of our knowledge, this is the first work utilizing reinforcement learning (RL) to address the sampling problem in representation learning. Our approach optimally adjusts the sampling process to achieve optimal performance. We explore geographical relationships among samples by distance-based sampling to maximize overall cumulative reward. We apply ASR to the long-standing sampling problems in similarity-based loss functions. Empirical results in information retrieval and clustering demonstrate ASR's superb performance across different datasets. We also discuss an engrossing phenomenon which we name as "ASR gravity well" in experiments.

研究の動機と目的

• 表現学習における固定またはヒューリスティックベースのサンプリング戦略の限界、特に学習段階に応じて適応できない点を解決すること。
• 認知科学のシステム2の思考を模倣するために、強化学習を用いてサンプリングプロセスを段階的意思決定問題としてモデル化すること。
• 長期的な表現学習性能を最大化するために、報酬をガイドとして動的にサンプルを選択するフレームワークを開発すること。
• 提案された ASR フレームワークが、多様な下流タスクにおいて、既存のサンプリングベースラインを実証的に上回ることを検証すること。

提案手法

• エージェントが状態表現に基づいてサンプルを選択するように、表現学習におけるサンプリングプロセスをマルコフ決定過程（MDP）として定式化する。
• 評価指標（Recall@K、NMI、F1）に基づく報酬関数を定義し、ポリシー学習をガイドする。
• ポリシー勾配法としてPPOおよびREINFORCEを用い、ニューラルネットワークを用いてポリシーをパrameter化することで、サンプリングポリシーを最適化する。
• 距離に基づくサンプリングを用いて、サンプル間の地理的関係をモデル化し、選択されたバッチの多様性と情報量を向上させる。
• 対照的表現学習における三重項損失およびマージン損失関数に ASR フレームワークを適用する。
• 訓練中に観察された「ASR グラビティウェル」現象を軽減するための、ポリシーネットワークの新しい初期化戦略を導入する。

実験結果

リサーチクエスチョン

• RQ1 強化学習は、表現学習における適応的サンプリングに効果的に適用可能であり、ヒューリスティックベースの手法を上回るか？
• RQ2 ポリシー初期化の選択が、ASR フレームワークの収束性および性能に与える影響は何か？
• RQ3 訓練期間が ASR フレームワークの性能に与える影響は何か？また、過学習はいつ発生するか？
• RQ4 ASR フレームワークは、情報検索やクラスタリングといった異なるデータセットおよび表現学習タスクに一般化可能か？
• RQ5 「ASR グラビティウェル」現象の原因は何か？初期化や最適化技術によってどのように軽減できるか？

主な発見

• CUB200-2011 データセットでは、PPO を用いた ASR がすべてのベースラインを上回り、三重項損失設定で 60.63% の Recall@1 および 0.6629 の NMI を達成した。
• CARS196 データセットでは、ASR が 71.50% の Recall@1 および 0.5993 の NMI を達成し、セミハードおよび距離ベースのサンプリングを上回った。
• SOP データセットでは、ASR が 94.47% の Recall@10 および 0.8914 の NMI を達成し、多様なデータ分布にわたる強力な一般化性能を示した。
• 「ASR グラビティウェル」現象は、'normal high' 初期化を使用した場合に観察され、エポック15前後で性能が急激に低下した。これは、最適でないポリシー収束に起因する。
• ASR の最適な訓練期間は 30〜50 エポックの間であり、この範囲を超えると過学習により性能が低下した。
• 'normal low' や 'uniform low' 初期化分布を用いることで、グラビティウェル効果が最小限に抑えられ、分散が低減され、極端なポリシー更新が回避された。