[論文レビュー] Weakly Supervised Learning of Foreground-Background Segmentation using Masked RBMs

Nicolas Heess, Nicolas Le Roux+1 more|arXiv (Cornell University)|Jul 19, 2011

Generative Adversarial Networks and Image Synthesis参考文献 11被引用数 6

ひとこと要約

本論文は、一般自然画像を用いて背景モデルをブートストラップし、異常値として前景を検出することで、弱教師付きの方法でごみだらけの画像における前景・背景分離を学習する、マスク付きRBMに基づくモデルを提案する。この手法は、背景とは独立して前景の形状と外観を同時にモデル化することで、限られたラベル付きデータでも堅牢な生成と認識性能を実現する。

ABSTRACT

We propose an extension of the Restricted Boltzmann Machine (RBM) that allows the joint shape and appearance of foreground objects in cluttered images to be modeled independently of the background. We present a learning scheme that learns this representation directly from cluttered images with only very weak supervision. The model generates plausible samples and performs foreground-background segmentation. We demonstrate that representing foreground objects independently of the background can be beneficial in recognition tasks.

研究の動機と目的

• 自然画像における背景の雑音とは独立して、前景オブジェクトの表現を学習する生成モデルを開発すること。
• 一般自然画像のみを用いて背景モデルを構築することで、弱教師付きの前景・背景分離学習を可能にすること。
• 背景の変動に対して不変な前景表現を学習することで、認識性能を向上させること。
• 形状と外観の共同モデル化が、分離および生成品質を向上させることを実証すること。

提案手法

• マスク付きRBMを拡張し、1つの前景オブジェクトと背景を2つの潜在画像としてモデル化する。前景は、バイナリマスクが1の箇所でのみ可視化される。
• 背景画像をモデリングするためにベータRBMを用い、画素強度の平均と分散の両方を捉える。
• 特別なRBMを用い、前景を連続的な外観画像とバイナリ形状マスクの2つの可視層で同時にモデル化する。
• 訓練画像全体における背景モデルの外れ値を特定することで、前景モデルを学習する。手動でのアノテーションは不要である。
• 観測データが与えられたもとで、マスク、前景外観、背景画像の近似的後方分布推定を実行する。
• 同じ背景モデルを異なる前景オブジェクトカテゴリに再利用することで、トランスファーラーニングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 生成モデルは、弱教師付きの方法のみで、ごみだらけの画像から前景オブジェクトを分離して学習できるか？
• RQ2 形状と外観を同時にモデル化することで、独立してモデル化する場合と比較して、分離および生成性能が向上するか？
• RQ3 背景を無視することで、限られた訓練データにおいて認識性能がどの程度向上するか？
• RQ4 共有された背景モデルを用いて、異なるオブジェクトカテゴリおよび背景の変動に対してもモデルが一般化可能か？

主な発見

• テストセット5000枚において、モデルは96％のピクセル単位の分離精度を達成し、CRFベースライン（79％）を顕著に上回った。
• クラスあたり10枚の訓練パッチという低データ認識タスクにおいて、FG-BGモデルは88％の分類精度を達成したのに対し、標準RBMでは66％にとどまり、データ不足に対するモデルの頑健性が向上したことが示された。
• 比較的少ない隠れユニット数でも、性別、頭の向き、髪型のバリエーションを含む多様で現実的な顔のサンプルを効果的に生成できた。
• 異なる背景に貼り付けた顔に対してテストした結果、80％の確率で同じ顔に対応する正しい画像を再取得できた。これに対して標準ベータRBMでは23％にとどまり、背景の干渉が著しく減少したことが示された。
• 推論されたマスクをランダムに再割り当てすると、分離性能が著しく悪化した。これは、モデルが意味的でデータ依存の形状表現を学習していることを確認した。