[論文レビュー] Segmenting Objects in Day and Night:Edge-Conditioned CNN for Thermal Image Semantic Segmentation

Chenglong Li, Wei Xia+3 more|arXiv (Cornell University)|Jul 24, 2019

Advanced Neural Network Applications参考文献 45被引用数 9

ひとこと要約

本論文では、ゲート付き特徴マップ変換（GFT）層を用いてエッジ事前知識を適応的に統合することで、熱画像の意味セグメンテーションを向上させる、新しい深層学習アーキテクチャであるエッジ・コンディショニングCNN（EC-CNN）を提案する。エンド・トゥ・エンドで学習されたEC-CNNは、新たに導入されたSODAベンチマークで最先端の性能を達成し、mIoUとピクセル精度を顕著に向上させつつ、効率的な推論速度を維持している。

ABSTRACT

Despite much research progress in image semantic segmentation, it remains challenging under adverse environmental conditions caused by imaging limitations of visible spectrum. While thermal infrared cameras have several advantages over cameras for the visible spectrum, such as operating in total darkness, insensitive to illumination variations, robust to shadow effects and strong ability to penetrate haze and smog. These advantages of thermal infrared cameras make the segmentation of semantic objects in day and night. In this paper, we propose a novel network architecture, called edge-conditioned convolutional neural network (EC-CNN), for thermal image semantic segmentation. Particularly, we elaborately design a gated feature-wise transform layer in EC-CNN to adaptively incorporate edge prior knowledge. The whole EC-CNN is end-to-end trained, and can generate high-quality segmentation results with the edge guidance. Meanwhile, we also introduce a new benchmark dataset named "Segment Objects in Day And night"(SODA) for comprehensive evaluations in thermal image semantic segmentation. SODA contains over 7,168 manually annotated and synthetically generated thermal images with 20 semantic region labels and from a broad range of viewpoints and scene complexities. Extensive experiments on SODA demonstrate the effectiveness of the proposed EC-CNN against the state-of-the-art methods.

研究の動機と目的

• 熱赤外画像における意味セグメンテーションの課題に取り組むこと。これは、熱的クロスオーバーやセンサーノイズのため、解像度が低く、コントラストが低く、境界が曖昧であるためである。
• 本研究以前に公に利用可能なベンチマークが存在しなかったため、熱画像意味セグメンテーションのための堅牢な深層学習ベースラインを構築すること。
• 挑戦的な熱画像撮影条件下でも、セグメンテーション精度を向上させるために、エッジ事前知識を効果的に統合する新しいネットワークアーキテクチャを提案すること。
• 7,168枚のアノテート済み熱画像と20の意味ラベルを備えた包括的かつ大規模なベンチマークデータセット（SODA）を確立することにより、信頼できる評価と今後の研究を可能にすること。

提案手法

• DeepLabv3を基盤とする新しいEC-CNNアーキテクチャを提案し、ゲート付き特徴マップ変換（GFT）層を用いてエッジ事前知識を統合することで、意味セグメンテーションをガイドする。
• GFT層を設計し、エッジ確率マップに条件付けられた、適応的かつ学習可能なアフィン変換を特徴マップに実行することで、動的特徴変調を可能にする。
• GFT層内にゲート機構を設け、ノイズの多いエッジ予測を抑制し、信頼性の低いエッジ情報に対して耐性を高める。
• ハイブリッドデータ生成戦略を採用：2,168枚の実熱画像を手動でアノテートし、画像対画像変換技術を用いて5,000枚の追加画像を合成してデータセット規模を拡大する。
• SODAデータセット上でピクセルレベルのアノテーションを用いた教師あり学習により、EC-CNNモデルをエンド・トゥ・エンドで学習する。
• 標準指標（mIoU、ピクセル精度、推論速度）とアブレーションスタディを用いてモデルを評価し、設計選択の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 どのようにしてエッジ事前知識を、熱画像意味セグメンテーションのための深層ニューラルネットワークに効果的かつ適応的に統合できるか？
• RQ2 エッジガイドドモジュールを、熱画像用のセグメンテーションネットワークアーキテクチャのどの位置に配置するのが最適か？
• RQ3 特徴変換層にゲート機構を組み込むことで、熱データにおけるノイズの多いエッジ予測に対する耐性はどのように向上するか？
• RQ4 提案されたEC-CNNは、既存の最先端手法に比べて、どの程度熱画像意味セグメンテーションで優れているか？
• RQ5 大規模かつ正確にアノテートされたベンチマークは、熱画像意味セグメンテーション分野の研究進展にどのような役割を果たすか？

主な発見

• EC-CNNモデルはSODAベンチマーク上で61.3%の平均交差率（mIoU）を達成し、ベースラインのDeepLabv3に比べ0.5%の向上を示した。
• ピクセル精度は、ベースラインの82.3%から、提案されたGFT層を用いることで83.6%に向上し、ノイズの多いエッジ情報のフィルタリングにゲート機構が有効であることが示された。
• GFT層を最も浅い残差ブロック（conv2_x）に挿入した場合が最も高い性能を示し、熱画像におけるセグメンテーションにおいて、低レベルのエッジ事前知識が最も有益であることが示された。
• EC-CNNは、GTX TITAN XP GPU上での平均0.13〜0.17秒/枚という、ベースラインに近い推論速度を維持しており、計算オーバーヘッドは最小限に抑えられている。
• アブレーションスタディにより、ゲート機構がノイズの多いエッジに対して顕著に耐性を高め、ゲートが有効な場合にピクセル精度が1.3%向上することが確認された。
• 7,168枚のアノテート済み画像と20の意味ラベルを備えたSODAデータセットは、熱画像セグメンテーション手法の評価に向けた包括的で多様なベンチマークを提供している。