[論文レビュー] Tree-structured Kronecker Convolutional Network for Semantic Segmentation

Tianyi Wu, Sheng Tang+3 more|arXiv (Cornell University)|Dec 12, 2018

Advanced Neural Network Applications参考文献 34被引用数 9

ひとこと要約

本論文は、パラメータ数を増加させずに受容 field を拡大しつつ部分的な特徴情報を捉えるためにクーロンカー畳み込みを導入したツリー構造のクーロンカー畳み込みネットワーク（TKCN）を提案する。さらに、階層的な多スケールの文脈的特徴を符号化するためのツリー構造の特徴統合（TFA）モジュールを採用している。TKCNは、PASCAL VOC 2012（83.2% mIoU）、Cityscapes（79.5% mIoU）、PASCAL-Context（51.8% mIoU）の各ベンチマークで最先端性能を達成し、より良い特徴利用と階層的文脈モデリングにより、セマンティックセグメンテーション精度が向上することを示している。

ABSTRACT

Most existing semantic segmentation methods employ atrous convolution to enlarge the receptive field of filters, but neglect partial information. To tackle this issue, we firstly propose a novel Kronecker convolution which adopts Kronecker product to expand the standard convolutional kernel for taking into account the partial feature neglected by atrous convolutions. Therefore, it can capture partial information and enlarge the receptive field of filters simultaneously without introducing extra parameters. Secondly, we propose Tree-structured Feature Aggregation (TFA) module which follows a recursive rule to expand and forms a hierarchical structure. Thus, it can naturally learn representations of multi-scale objects and encode hierarchical contextual information in complex scenes. Finally, we design Tree-structured Kronecker Convolutional Networks (TKCN) which employs Kronecker convolution and TFA module. Extensive experiments on three datasets, PASCAL VOC 2012, PASCAL-Context and Cityscapes, verify the effectiveness of our proposed approach. We make the code and the trained model publicly available at https://github.com/wutianyiRosun/TKCN.

研究の動機と目的

• 受容 field を拡大するにあたり、アトロス畳み込みが部分的な特徴情報を無視するという限界を是正すること。
• パラメータ効率の良い手法を設計し、セマンティックセグメンテーションにおいてグローバルな文脈とローカルな詳細を両方捉えること。
• 再帰的でツリー構造の特徴統合機構を用いて、複雑なシーンにおける階層的空間的依存関係をモデル化すること。
• クーロンカー畳み込みと階層的特徴統合を統合した一貫したフレームワークを設計し、セグメンテーション精度を向上させること。

提案手法

• クーロンカー積を用いて標準畳み込みカーネルを拡張するクーロンカー畳み込みを提案し、これまで無視されてきた特徴ベクトルを捉えることを可能にする。
• クーロンカー畳み込みに2つの要因を導入：受容 field のサイズを制御するための相互間隔要因（r₁）と、部分領域の特徴を捉えるための内部共有要因（r₂）。
• 再帰的分岐ルールに基づくツリー構造の特徴統合（TFA）モジュールを設計し、各層で局所的特徴を保持するとともに、長距離依存関係を統合する。
• TFAでツリー型アーキテクチャを採用することで、固定スケールの統合に依存せずに自然にマルチスケール表現を学習する。
• クーロンカー畳み込みとTFAを統合し、一括でエンド・ツー・エンドで学習可能なフレームワークとしてツリー構造のクーロンカー畳み込みネットワーク（TKCN）を構築する。
• テスト段階で平均融合を用いたマルチスケール推論を採用し、すべてのベンチマークでさらなる性能向上を実現する。

実験結果

リサーチクエスチョン

• RQ1 クーロンカー畳み込みは、パラメータ効率を保ちつつ、アトロス畳み込みにおける特徴利用を効果的に改善できるか？
• RQ2 固定スケールの統合と比較して、再帰的でツリー構造のモジュールは、複雑なシーンにおける階層的文脈的関係をより良くモデル化できるか？
• RQ3 クーロンカー畳み込みとツリー構造の統合を組み合わせることで、多様なセマンティックセグメンテーションベンチマークで一貫した性能向上が得られるか？
• RQ4 本手法は、精度とパラメータ効率の両面で最先端モデルと比較して優れているか？

主な発見

• 外部データセットを用いないPASCAL VOC 2012では83.2%のmIoUを達成し、COCO や JFTで事前学習されていない手法の中では2位にランクインしている。
• Cityscapesではマルチスケール推論を用いて79.5%のmIoUを達成し、大多数の先行手法を上回っており、より複雑なバックボーンを搭載したモデルに近い性能を示している。
• PASCAL-Contextではマルチスケール入力を用いて51.8%のmIoUを達成し、以前の最先端性能（51.6%）を上回っている。
• アブレーションスタディの結果、クーロンカー畳み込みとTFAモジュールはそれぞれ独立して性能を向上させており、併用することでベースラインから6.87%の向上が得られている。
• 有効特徴比（VFR）分析から、特に高レートでの場合にクーロンカー畳み込みはアトロス畳み込みに比べて特徴利用が顕著に向上していることが示された。
• 定性的な結果から、TKCNは特に物体境界や小スケール構造周辺で、より細かく正確なセグメンテーションマスクを生成していることが確認された。