[論文レビュー] Adaptive Binarization for Weakly Supervised Affordance Segmentation

Johann Sawatzky, Jüergen Gall|arXiv (Cornell University)|Jul 10, 2017

Robot Manipulation and Learning参考文献 26被引用数 5

ひとこと要約

本論文は、スパarsなキーポイントアノテーションを用いた弱教師付きアフォーダンスセグメンテーションのためのアダプティブバイナリゼーション手法を提案し、追加のグラフカット手順を不要にする。インスタンス固有のしきい値を学習し、近似交差検証を用いた初期化最適化により、CAD-120およびUMDデータセットにおいて、先行研究比で平均Jaccard正解率を最大17ポイント向上させる。

ABSTRACT

The concept of affordance is important to understand the relevance of object parts for a certain functional interaction. Affordance types generalize across object categories and are not mutually exclusive. This makes the segmentation of affordance regions of objects in images a difficult task. In this work, we build on an iterative approach that learns a convolutional neural network for affordance segmentation from sparse keypoints. During this process, the predictions of the network need to be binarized. In this work, we propose an adaptive approach for binarization and estimate the parameters for initialization by approximated cross validation. We evaluate our approach on two affordance datasets where our approach outperforms the state-of-the-art for weakly supervised affordance segmentation.

研究の動機と目的

• ピクセルレベルのアノテーションが利用できない弱教師付きアフォーダンスセグメンテーションの課題に対処すること。
• アフォーダンスセグメンテーションの反復的ディープラーニングパイプラインにおける固定しきい値バイナリゼーションの限界を克服すること。
• 先行研究で用いられる追加のグラフカットセグメンテーション手順を不要にするために、アダプティブでインスタンス固有のバイナリゼーションを導入すること。
• キーポイントに基づくJaccard近似を用いて、ハイパーパramータを推定することで、アフォーダンスマスクの初期化品質を向上させること。
• 弱教師付き条件下で2つのベンチマークアフォーダンスセグメンテーションデータセットにおいて最先端の性能を達成すること。

提案手法

• トレーニング中に各画像およびアフォーダンスクラスに対して固有のしきい値を計算するアダプティブバイナリゼーション戦略を導入し、固定50%しきい値の代わりに使用する。
• バックプロパゲーションがしきい値処理を通過できるように、バイナリゼーションステップの微分可能リラクゼーションを用いることで、エンドツーエンド学習を可能にする。
• キーポイント位置のみを用いてJaccardインデックスを近似し、セグメンテーションマスクの最適な初期化パラメータを推定する。
• キーポイントに基づくJaccard近似を基に、近似交差検証を用いてガウスカーネル帯域幅σなどのハイパーパramータを最適化する。
• CNN重みの更新とセグメンテーションマスクの精練を交互に繰り返す反復学習フレームワークに、アダプティブバイナリゼーションを統合する。
• VGGおよびResNetバックボーンを用いて、CAD-120およびUMDパーツアフォーダンスの2つのデータセットで評価し、パイプラインの堅牢性と一般化性能を示す。

実験結果

リサーチクエスチョン

• RQ1 固定しきい値と比較して、アダプティブでインスタンス固有のバイナリゼーションは、弱教師付きアフォーダンスセグメンテーションの正解率を向上させるか？
• RQ2 後処理としてのグラフカット手順を排除することで、細かいアフォーダンス領域の局在化が向上するか？
• RQ3 近似交差検証を用いてキーポイントアノテーションのみでマスク初期化のハイパーパramータを効果的に推定できるか？
• RQ4 重なり領域を有する困難なマルチラベルアフォーダンスセグメンテーションタスクにおいて、本手法はどのように性能を発揮するか？
• RQ5 アダプティブバイナリゼーション戦略は、異なるネットワークアーキテクチャおよびデータセットスプリットに一般化するか？

主な発見

• 提案手法は、CAD-120データセットのアクター スプリットにおいて、[27]と比較して平均Jaccard正解率が17ポイント向上した。
• UMDパーツアフォーダンスデータセットでは、ネイティブスプリットで平均Jaccardインデックスが0.42、カテゴリースプリットで0.60に向上し、[27]および先行の最先端手法を上回った。
• ResNetベースのモデルでは、アダプティブバイナリゼーションを用いることで、両データセットのすべてのスプリットでVGGベースのモデルよりも高い平均正解率を達成した。これは[27]とは異なり、VGGが時として優れていたという事実を覆す。
• 定性的な結果から、本手法はマグのキャップのような小さなアフォーダンス部の局在化が優れていることが示され、[27]で見られるようにメインオブジェクトと過剰に結合されるのを回避している。
• ハイパーパramータ初期化のための近似交差検証アプローチは、特に初期トレーニング段階でマスク品質を顕著に向上させた。
• 外部のグラフカット手順を完全に不要にしたため、パイプラインが簡素化され、後処理による誤差伝搬も低減された。