[論文レビュー] Sketching without Worrying: Noise-Tolerant Sketch-Based Image Retrieval

Ayan Kumar Bhunia, Subhadeep Koley+5 more|arXiv (Cornell University)|Mar 28, 2022

Advanced Image and Video Retrieval Techniques被引用数 6

ひとこと要約

本稿では、自由なスケッチからのノイズや関係のないスティックを特定・除去することで、細分化されたスケッチベース画像検索（FG-SBIR）の性能を向上させる強化学習に基づくスティック部分集合選択手法を提案する。事前に訓練済みのFG-SBIRモデルに送る前に、最も検索関連性の高いスティックのみを選択することで、ベースライン比で8%-10%の性能向上を達成し、新たな最先端性能を樹立した。同時に、リアルタイムでの検索に強く、ノイズに強く耐性がある。

ABSTRACT

Sketching enables many exciting applications, notably, image retrieval. The fear-to-sketch problem (i.e., "I can't sketch") has however proven to be fatal for its widespread adoption. This paper tackles this "fear" head on, and for the first time, proposes an auxiliary module for existing retrieval models that predominantly lets the users sketch without having to worry. We first conducted a pilot study that revealed the secret lies in the existence of noisy strokes, but not so much of the "I can't sketch". We consequently design a stroke subset selector that {detects noisy strokes, leaving only those} which make a positive contribution towards successful retrieval. Our Reinforcement Learning based formulation quantifies the importance of each stroke present in a given subset, based on the extent to which that stroke contributes to retrieval. When combined with pre-trained retrieval models as a pre-processing module, we achieve a significant gain of 8%-10% over standard baselines and in turn report new state-of-the-art performance. Last but not least, we demonstrate the selector once trained, can also be used in a plug-and-play manner to empower various sketch applications in ways that were not previously possible.

研究の動機と目的

• ユーザーがスケッチのスキルに不安を抱える『スケッチを描くのを恐れる』問題に対処すること。
• 実際の問題はスケッチの品質そのものではなく、検索性能を低下させるノイズや関係のないスティックの存在にあると特定すること。
• スケッチから最も情報量の多いスティックのみを選択する前処理モジュールを開発し、検索精度を向上させること。
• 再訓練なしにさまざまなスケッチアプリケーションに即座に統合可能なプラグアンドプレイ型のデプロイを可能にすること。
• 事前に訓練済みの検索モデルと組み合わせることで、FG-SBIR分野における最先端性能を達成すること。

提案手法

• スティックの構成的構造とそれらの関係をモデル化するため、LSTMユニットを用いた階層的再帰ニューラルネットワーク（RNN）を設計する。
• スティック部分集合選択を強化学習（RL）の問題として定式化し、エージェントが各スティックの検索性能への貢献度に基づいて選択または却下を学習する。
• 事前に訓練済みのFG-SBIRモデルを報酬関数の評価者として用い、選択されたスティック部分集合が正解画像をどれだけうまく検索できるかを密度のあるフィードバックで提供する。
• 訓練の安定化とサンプル効率の向上を図るため、クリッピングされた補間目的関数を用いたアクター・クリティックのプロキシポリシー最適化（PPO）フレームワークを採用する。
• 順序付け性能（トップ-k正解率）と特徴量埋め込み損失（トリプルット損失）を組み合わせたマルチオブジェクティブ報酬関数を採用し、正確な順序付けと判別性の高い表現の両方を促進する。
• 選択されたスティック部分集合をラスタライズした後、事前に訓練済みのFG-SBIRモデルに渡す。非微分可能なラスタライズ処理は、RLポリシー勾配法により処理する。

Figure 1 : (a) While the average ranking percentile increases as the sketching proceeds from starting towards completion, unwanted sudden drops have been noticed for many individual sketches due to noisy/irrelevant strokes drawn. (b) The same thing is visualised with number of samples in the third a

実験結果

リサーチクエスチョン

• RQ1 ノイズの多いスケッチから最も関連性の高いスティックのみを選択する前処理モジュールが、FG-SBIR性能を顕著に向上させることができるか？
• RQ2 スケッチのスキルを向上させるのではなく、ノイズのあるスティックを除去することで、スケッチベース画像検索における性能低下の根本原因が解消されるか？
• RQ3 強化学習に基づくスティック部分集合選択器が、リアルタイムのスケッチ検索において、標準的なデータ拡張や微調整戦略を上回る性能を発揮できるか？
• RQ4 提案手法の選択器は、合成的および現実世界のスケッチノイズをどれだけ一般化して処理できるか？
• RQ5 スティックの階層的モデリングは、平坦なシーケンスモデリングに比べて、検索性能と耐性の面で優れているか？

主な発見

• 提案されたスティック部分集合選択器は、標準ベースライン比でトップ1正解率を8%-10%向上させ、QMUL-Shoe-V2データセットで新たな最先端性能を達成した。
• 合成ノイズ下でのテストでは、選択器なしではトップ1正解率が13.4%であったのに対し、選択器ありでは37.2%に向上し、強力なノイズ耐性を示した。
• RLベースの選択器により、リアルタイム検索におけるラスタライズおよび推論ステップ数が42.2%削減され、無関係な部分スケッチのフィルタリングが可能になった。
• リアルタイム性能としてr@A = 85.78、r@B = 21.1を達成し、以前のRL微調整ベースライン（85.38、21.24）を上回った。
• 階層的LSTMを用いることで、単一層の双方向LSTMに比べてトップ1正解率が4.9%向上し、スティック構成構造のモデリングの重要性が裏付けられた。
• クリッピングされた補間目的関数を用いたPPOアクター・クリティックは、アクターのみのバージョンに比べてトップ1正解率を1.7%向上させ、部分スケッチ検索の能力をモデル化可能にした。

Figure 2 : Illustration of Noise Tolerant FG-SBIR framework. Stroke Subset Selector $\mathcal{X(\cdot)}$ acts as a pre-processing module in the sketch vector space to eliminate the noisy strokes. Selected stroke subset is then rasterized and fed through an existing pre-trained FG-SBIR model for rewa