[論文レビュー] Semantics Meet Saliency: Exploring Domain Affinity and Models for Dual-Task Prediction

Amirul Islam, Mahmoud Kalash+1 more|arXiv (Cornell University)|Jul 25, 2018

Visual Attention and Saliency Detection参考文献 20被引用数 5

ひとこと要約

本論文は、セマンティックセグメンテーションとサリエンシーマップを同時に予測する二重タスク深層学習フレームワークを提案し、両タスク間で相互に性能向上を示した。ドメインの類縁性と情報フローの構成を調査することで、共有特徴学習とセマンティックオブジェクトの共起分析を通じて、特に『person』のような頻繁にサリエンシーとされるカテゴリにおいて顕著な向上を達成した。

ABSTRACT

Much research has examined models for prediction of semantic labels or instances including dense pixel-wise prediction. The problem of predicting salient objects or regions of an image has also been examined in a similar light. With that said, there is an apparent relationship between these two problem domains in that the composition of a scene and associated semantic categories is certain to play into what is deemed salient. In this paper, we explore the relationship between these two problem domains. This is carried out in constructing deep neural networks that perform both predictions together albeit with different configurations for flow of conceptual information related to each distinct problem. This is accompanied by a detailed analysis of object co-occurrences that shed light on dataset bias and semantic precedence specific to individual categories.

研究の動機と目的

• セマンティックセグメンテーションとサリエンシー検出を1つの深層学習フレームワークに統合することによる相互利益を調査すること。
• 特に、セマンティック知識がサリエンシー予測にどのように影響し、逆にサリエンシー予測がセマンティック知識に与える影響を含め、意味とサリエンシーの間のドメイン類縁性を分析すること。
• 常にサリエンシー順位で上位を占めるオブジェクトカテゴリを特定し、知覚的バイアスを示す共起パターンを検討すること。
• 二重タスク学習に適したネットワークアーキテクチャと最適な情報フロー構成を評価すること。

提案手法

• 共有ブランチとタスク固有ブランチを用いて、セマンティックセグメンテーションとサリエンシーマップを同時に予測するエンドツーエンドの深層ニューラルネットワークの4つのバリエーションを提案する。
• 両タスクの空間的詳細を保持するため、スキップ接続を備えたエンコーダ・デコーダアーキテクチャを採用する。
• セマンティックセグメンテーションには交差エントロピー、サリエンシー予測にはバイナリ交差エントロピーを組み合わせたマルチタスク損失関数を導入する。
• トレーニングと評価にPASCAL-SおよびPASCAL VOCデータセットを用い、データオーグメンテーションとトランスファー学習を適用する。
• 共有特徴学習と分離特徴学習の性能への影響を評価するため、ネットワーク構成に関するアブレーションスタディを実施する。
• サリエンシーの高いカテゴリに対する共起分析を実施し、順位付けの傾向を定量化し、データセットバイアスを特定する。

実験結果

リサーチクエスチョン

• RQ1 セマンティックセグメンテーションはサリエンシー予測を向上させるか？ また、セマンティック知識はサリエント領域を特定するのにどの程度有益か？
• RQ2 サリエンシー予測は、境界定義やフォーグラウンド分離において、細分化されたセマンティックセグメンテーションを向上させることができるか？
• RQ3 セマンティックタスクとサリエンシータスクの両方の相互向上を実現するのに最適なネットワークアーキテクチャと情報フロー構成は何か？
• RQ4 どのセマンティックカテゴリが常に最もサリエントとされるか？ また、その順位の優位性に影響を与える要因は何か？
• RQ5 知覚的バイアスやデータセットバイアスを示す、オブジェクトペア間の強い共起パターンは存在するか？

主な発見

• 提案された二重タスクモデルは、PASCAL-SでmIoUを0.66から0.67に0.02向上させた。特に『person』のような頻繁にサリエントとされるカテゴリでは、IoUが0.84から0.86に向上した。
• 『person』は最も頻繁に最もサリエントなオブジェクトとランク付けされ、共起ケースでは『motorbike』よりも高い順位に来る確率が50%であった。
• 共起分析の結果、『person』は『dog』、『bus』、『horse』とペaired場合、中心配置や小サイズ、背景配置のため、サリエントである可能性が低くなる傾向があることが判明した。
• サリエンシー駆動型の意味特徴学習により、一般的にサリエントなカテゴリの性能が向上した。これは、サリエンシー信号がセマンティック特徴学習を強化していることを示している。
• 共有エンコーダとタスク固有ヘッドを備えたモデルが、分離構成よりも優れた性能を示した。これは、共有表現学習が両タスクに有益であることを示唆している。
• 失敗事例の可視化により、動的な行動や非人物オブジェクトの中央配置が、人物が存在してもそのサリエンシーを上回ることが多いことが明らかになった。