[論文レビュー] Collaboratively boosting data-driven deep learning and knowledge-guided ontological reasoning for semantic segmentation of remote sensing imagery

Yansheng Li, Song Ouyang+1 more|arXiv (Cornell University)|Oct 6, 2020

Remote-Sensing Image Classification参考文献 35被引用数 4

ひとこと要約

本稿では、リモートセンシング画像の意味的理解析のため、データ駆動型ディープラーニングと知識誘導型のオントロジー推論を統合する共同ブースティングフレームワーク（CBF）を提案する。ディープラーニングネットワークとオントロジーに基づく推論モジュールとの間で相互フィードバックを繰り返し行い、予測を段階的に改善することで、特に複雑なシーンにおいて分類精度を向上させ、単独のディープラーニングまたは知識ベースの手法を上回る性能を発揮する。

ABSTRACT

As one kind of architecture from the deep learning family, deep semantic segmentation network (DSSN) achieves a certain degree of success on the semantic segmentation task and obviously outperforms the traditional methods based on hand-crafted features. As a classic data-driven technique, DSSN can be trained by an end-to-end mechanism and competent for employing the low-level and mid-level cues (i.e., the discriminative image structure) to understand images, but lacks the high-level inference ability. By contrast, human beings have an excellent inference capacity and can be able to reliably interpret the RS imagery only when human beings master the basic RS domain knowledge. In literature, ontological modeling and reasoning is an ideal way to imitate and employ the domain knowledge of human beings, but is still rarely explored and adopted in the RS domain. To remedy the aforementioned critical limitation of DSSN, this paper proposes a collaboratively boosting framework (CBF) to combine data-driven deep learning module and knowledge-guided ontological reasoning module in an iterative way.

研究の動機と目的

• リモートセンシング画像の意味的理解析におけるデータ駆動型ディープラーニングモデルの高レベル推論の欠如を解決すること。
• ドメイン固有の知識をオントロジーから活用し、意味的理解析の解釈可能性と頑健性を向上させること。
• 複雑またはレアな状況において一般化に失敗する純粋にデータ駆動型アプローチの限界を克服すること。
• 低レベル特徴と高レベル意味的推論を組み合わせることで、反復的に予測を改善する協調フレームワークを開発すること。
• 知識誘導型推論とディープラーニングを統合することで、リモートセンシング画像において優れた分類性能が得られることを実証すること。

提案手法

• データ駆動型と知識誘導型モジュールの間で交互に予測を精錬する共同ブースティングフレームワーク（CBF）を提案。
• 初期分類のため、U-Netベースの深層意味的理解分類ネットワーク（DSSN）を用いて低レベルおよびミドルレベル特徴を抽出。
• リモートセンシングオブジェクトの空間的・スペクトル的・文脈的関係などのドメイン知識をオントロジーモデルに符号化。
• オントロジーにおける論理的推論と制約伝播を適用し、意味的整合性に基づいて分類結果を精錬。
• DSSNの予測がオントロジーを、オントロジーによる誘導的推論がDSSNの出力を是正する反復的フィードバックループを実装。
• DSSNの学習にクロスエントロピー損失を、オントロジーの精錬に論理的整合性損失を組み合わせた損失関数を採用。

実験結果

リサーチクエスチョン

• RQ1 知識誘導型オントロジー推論の統合により、データ駆動型ディープラーニングモデルのリモートセンシング画像分類性能が向上するか？
• RQ2 ディープラーニングとオントロジー推論の反復的協調は、分類精度と頑健性をどのように向上させるか？
• RQ3 オントロジー推論は、純粋にデータ駆動型モデルの高レベル推論の欠如をどの程度補完できるか？
• RQ4 ドメイン固有の知識は、複雑または曖昧なリモートセンシングシーンにおける誤分類をどの程度低減できるか？
• RQ5 提案されたCBFフレームワークは、単独のディープラーニングまたは知識ベースの手法をどのように上回るか？

主な発見

• CBFフレームワークは、ベンチマークリモートセンシングデータセットにおいて、最先端のディープラーニングモデルを著しく上回る性能を達成した。
• オントロジー推論の統合により、希少または曖昧なオブジェクトクラスの誤分類率が低下した。
• 反復的フィードバック機構により、予測の整合性と空間的妥当性が向上した。
• 低データ環境および複雑な都市部や異質な環境において、優れた一般化性能を示した。
• 定量的評価では、ベースラインDSSNモデルと比較して、平均交差和分（mIoU）が5〜8%向上した。
• アブレーションスタディにより、ディープラーニングおよびオントロジー推論の両方のコンponentが最適性能を達成するために不可欠であることが確認された。