[論文レビュー] TreeSegNet: Adaptive Tree CNNs for Subdecimeter Aerial Image Segmentation

Kai Yue, Lei Yang+4 more|arXiv (Cornell University)|Apr 29, 2018

Advanced Neural Network Applications参考文献 9被引用数 3

ひとこと要約

TreeSegNet は、混同行列駆動のアーキテクチャ適応を用いてクラス固有の特徴表現を学習することで、部分デシメータスケールの航空画像セグメンテーションを向上させる、DeepUNet フレームワーク内でのアダプティブな Tree-CNN ブロックを提案する。本手法は、マルチスケール特徴を連結接続により統合し、ResNeXt ベースのノードを新しい TreeCutting アルゴリズムで最適化することで、ISPRS ポツダムデータセットで最先端の性能を達成する。

ABSTRACT

For the task of subdecimeter aerial imagery segmentation, fine-grained semantic segmentation results are usually difficult to obtain because of complex remote sensing content and optical conditions. Recently, convolutional neural networks (CNNs) have shown outstanding performance on this task. Although many deep neural network structures and techniques have been applied to improve the accuracy, few have paid attention to better differentiating the easily confused classes. In this paper, we propose TreeSegNet which adopts an adaptive network to increase the classification rate at the pixelwise level. Specifically, based on the infrastructure of DeepUNet, a Tree-CNN block in which each node represents a ResNeXt unit is constructed adaptively according to the confusion matrix and the proposed TreeCutting algorithm. By transporting feature maps through concatenating connections, the Tree-CNN block fuses multiscale features and learns best weights for the model. In experiments on the ISPRS 2D semantic labeling Potsdam dataset, the results obtained by TreeSegNet are better than those of other published state-of-the-art methods. Detailed comparison and analysis show that the improvement brought by the adaptive Tree-CNN block is significant.

研究の動機と目的

• 変動する光学的条件下での複雑な部分デシメータスケールの航空画像における細分化されたセマンティックセグメンテーションの課題に対処すること。
• リモートセンシング画像セグメンテーションにおける識別が難しいクラスの分類精度を向上させること。
• クラスの混同パターンに基づいて動的に調整可能な、アダプティブなディープラーニングアーキテクチャを開発すること。
• U-Net モデルに類似たエンコーダーにおけるマルチスケール特徴の統合を強化し、より良い文脈的表現を得ること。

提案手法

• 本手法は DeepUNet アーキテクチャを基盤とし、各ノードが ResNeXt ユニットである Tree-CNN ブロックを導入することで、階層的な特徴学習を可能にする。
• モデルの予測結果から混同行列が計算され、頻繁に誤分類されるクラスペアを特定する。
• TreeCutting アルゴリズムは、混同パターンに基づいて Tree-CNN ブロックを適応的に剪定および再構築することで、意思決定境界を改善する。
• 特徴マップは連結スカイプ接続を通じて伝達され、マルチスケール特徴を統合し、表現学習を強化する。
• アダプティブな Tree-CNN ブロックは、ネットワークの残りの部分とエンドツーエンドで訓練され、ピクセル単位の分類を最適化する。
• 本アーキテクチャは、標準的なセグメンテーション指標を用いて、ISPRS 2D セマンティックラベリング ポツダムデータセットで評価される。

実験結果

リサーチクエスチョン

• RQ1 アダプティブなディープラーニングアーキテクチャは、部分デシメータスケールの航空画像セグメンテーションにおけるピクセル単位分類精度を向上させ得るか？
• RQ2 混同行列を用いたネットワークの適応は、識別が困難なクラスの性能にどのように影響を与えるか？
• RQ3 連結接続によるマルチスケール特徴の統合は、セグメンテーション品質をどの程度向上させるか？
• RQ4 TreeCutting アルゴリズムは、視覚的に類似したクラス間の誤分類を低減するために、ネットワークを効果的に再構築できるか？

主な発見

• TreeSegNet は、ISPRS ポツダムデータセットで最先端の性能を達成し、他の発表済み手法を上回るセグメンテーション精度を示した。
• アダプティブな Tree-CNN ブロックは、舗装面と木々の間で混同されやすいクラスの分類率を顕著に向上させた。
• 混同行列に基づく適応により、視覚的に類似したクラス間の誤分類が明確に減少した。
• 連結接続によるマルチスケール特徴の統合は、スケールをまたがる文脈的情報の捉え方をモデルが強化することを示した。
• アブレーションスタディにより、TreeCutting アルゴリズムとアダプティブブロック設計が性能向上に顕著な貢献をしていることが確認された。
• 本手法は、挑戦的な光学的条件下でも、複雑なリモートセンシングコンテンツに対して頑健であることが示された。