[論文レビュー] End-to-End Instance Segmentation and Counting with Recurrent Attention.

Mengye Ren, Richard S. Zemel|arXiv (Cornell University)|May 30, 2016

Advanced Neural Network Applications参考文献 43被引用数 55

ひとこと要約

本稿では、人間の数え方を模倣するアテンション機構を備えたエンドツーエンドの再帰ニューラルネットワークを提案し、同時に行うインスタンスセグメンテーションとオブジェクトカウントを実現する。順次的に領域の注目領域を生成し、それぞれの領域で支配的オブジェクトをセグメンテーションすることで、CVPPPおよびKITTIデータセットで最先端の性能を達成する。

ABSTRACT

While convolutional neural networks have gained impressive success recently in solving structured prediction problems such as semantic segmentation, it remains a challenge to differentiate individual object instances in the scene. Instance segmentation is very important in a variety of applications, such as autonomous driving, image captioning, and visual question answering. Techniques that combine large graphical models with low-level vision have been proposed to address this problem; however, we propose an end-to-end recurrent neural network (RNN) architecture with an attention mechanism to model a human-like counting process, and produce detailed instance segmentations. The network is jointly trained to sequentially produce regions of interest as well as a dominant object segmentation within each region. The proposed model achieves state-of-the-art results on the CVPPP leaf segmentation dataset and KITTI vehicle segmentation dataset.

研究の動機と目的

• シーン内の個々のオブジェクトインスタンスを区別する課題に対処すること。これは自動運転やビジュアル質問応答などのアプリケーションにおいて重要である。
• 人間のカウントプロセスを模倣する方法を考案すること。
• エンドツーエンドでトレーニング可能なアーキテクチャにおいて、領域の注目領域と密集したセグメンテーションを同時に予測すること。
• CVPPPやKITTIなどのベンチマークデータセットにおけるインスタンスセグメンテーションの性能を向上させること。

提案手法

• モデルは再帰ニューラルネットワーク（RNN）を用いて、画像内の領域の注目領域を逐次的に生成する。
• 各領域の注目領域を生成する際、関連する画像特徴に注目するためのアテンション機構が用いられる。
• 各領域内で、支配的オブジェクトの密集したセグメンテーションマスクが生成される。
• アーキテクチャは、インスタンスセグメンテーションとカウントの両目的をエンドツーエンドで最適化するために共同でトレーニングされる。
• オブジェクトを1つずつ処理することで、人間のカウントに類似したプロセスを学習し、局所化と分離性が向上する。

実験結果

リサーチクエスチョン

• RQ1 再帰的アテンション機構は、インスタンスセグメンテーションにおける人間のカウントプロセスを効果的にモデル化できるか？
• RQ2 エンドツーエンドのRNNにアテンションを組み合わせたモデルは、既存の手法と比較して、同時に行うインスタンスセグメンテーションとカウントにどの程度優れているか？
• RQ3 領域の注目領域の逐次的生成は、インスタンス分離性およびセグメンテーション精度を向上させるか？
• RQ4 モデルはCVPPPやKITTIのような多様なデータセットに一般化可能か？

主な発見

• 提案手法はCVPPPリーフセグメンテーションデータセットで最先端の性能を達成した。
• KITTI車両セグメンテーションデータセットでも最先端の結果を達成した。
• 領域の注目領域とセグメンテーションの共同学習により、インスタンス分離性と精度が向上した。
• 再帰的アテンションの使用により、推論時により構造的で人間らしいカウントプロセスが実現された。