[論文レビュー] Probabilistic Spatial Transformer Networks

Pola Schwöbel, Frederik Warburg+3 more|arXiv (Cornell University)|Apr 7, 2020

Energy Efficient Wireless Sensor Networks参考文献 37被引用数 4

ひとこと要約

この論文は、空間変換器ネットワーク（P-STN）の確率的拡張を提案し、画像変換を単一の決定的変換ではなく分布としてモデル化する。マルコフモンテカルロ推論を用いてサンプルされた変換を周辺化することで、P-STNは局所化のロバスト性を向上させ、学習されたデータオーグメンテーションとして機能し、視覚的および時系列のベンチマークにおいて、決定的STNよりも分類精度が高く、モデルのキャリブレーション性能に優れる。

ABSTRACT

Spatial Transformer Networks (STNs) estimate image transformations that can improve downstream tasks by `zooming in' on relevant regions in an image. However, STNs are hard to train and sensitive to mis-predictions of transformations. To circumvent these limitations, we propose a probabilistic extension that estimates a stochastic transformation rather than a deterministic one. Marginalizing transformations allows us to consider each image at multiple poses, which makes the localization task easier and the training more robust. As an additional benefit, the stochastic transformations act as a localized, learned data augmentation that improves the downstream tasks. We show across standard imaging benchmarks and on a challenging real-world dataset that these two properties lead to improved classification performance, robustness and model calibration. We further demonstrate that the approach generalizes to non-visual domains by improving model performance on time-series data.

研究の動機と目的

• 決定的空間変換器ネットワーク（STN）の脆さに起因する、変換予測が不正確な場合に深刻な失敗を避けるため。
• 不確実性を確率的フレームワークでモデル化することで、画像変換の不確実性を扱い、訓練の安定性と局所化性能を向上させるため。
• 確率的変換を、各画像ごとの暗黙のデータオーグメンテーションとして活用し、下流の分類性能を向上させるため。
• このアプローチが視覚的領域を超えて時系列データにも一般化できることを示すため。

提案手法

• 画像変換の上位階層ベイジアンモデルを提案し、決定的変換推定を変分後確率分布に置き換える。
• アモルタイズド変分推論を用い、ラベル情報のみを用いて局所化ネットワークと下流分類器を同時に学習する。
• 予測分布の不確実な積分を、変換のモンテカルロサンプリングにより近似する：p(y|I) ≈ (1/S) Σ p(y|T_θ^s(I))（S個のサンプル変換に対して）。
• 入力画像に確率的変換を適用し、複数の変換されたビューを分類器に供給し、サンプル間で予測を集約する。
• 変換のガウス分布のパrameterを出力する局所化ネットワークを備えた微分可能な空間変換モジュールを採用する。
• バックプロパゲーションを用いてエンドツーエンドで訓練し、分類器の損失は変換サンプルのアンサンブル上で計算される。

実験結果

リサーチクエスチョン

• RQ1 変換の不確実性をモデル化することで、トレーニングおよび推論時の空間変換器ネットワークのロバスト性が向上するか？
• RQ2 確率的変換を周辺化することで、決定的STNと比較して局所化性能が向上するか？
• RQ3 確率的変換プロセスが、下流分類タスクに対して効果的で、学習されたデータオーグメンテーションとして機能する程度はいかほどか？
• RQ4 確率的STNフレームワークは、視覚的領域を超えて時系列データのような非視覚的分野にも一般化可能か？
• RQ5 ベンチマークデータセットにおいて、標準的なニューラルネットワークおよび決定的STNと比較して、P-STNモデルのキャリブレーションと精度はどの程度か？

主な発見

• P-STNは、特に分類器が小さい場合、回転させたMNISTデータセットにおいて、標準的なニューラルネットワークおよび決定的STNよりも高い分類精度を達成する。これは、効果的な局所化とデータオーグメンテーションによるものである。
• P-STNモデルは、STNがよく見られる失敗モード（恒等変換を学習する）を回避し、大きな分類器を用いても回転画像を適切に局所化できる。
• P-STNにおける予測変換の分散は、STNと比較して顕著に高いことが示され、より能動的かつ多様な局所化行動を示している。
• P-STNはモデルキャリブレーションを向上させ、決定的モデルと比較してより信頼性の高い予測不確実性推定を実現する。
• この手法は時系列データに対しても一般化可能であり、モデル性能の向上を示しており、視覚的タスクを超えた応用可能性を裏付けている。
• P-STNの損失関数の形状は、STNと比較して滑らかで、局所最小値が少なく、訓練の安定性が向上していることが示された。