[論文レビュー] FakeMix Augmentation Improves Transparent Object Detection

Yang Cao, Zhengqiang Zhang+5 more|arXiv (Cornell University)|Mar 24, 2021

Visual Attention and Saliency Detection参考文献 30被引用数 8

ひとこと要約

本稿では、透明物体のエッジを他の画像から合成することで現実的な偽の境界を生成するコンテンツ依存型データ拡張法FakeMixを提案する。これにより境界関連のデータ分布がバランスされ、誤検出が低減される。AdaptiveASPPを組み合わせて動的でマルチスケールかつクロスモダリティ特徴抽出を実現し、透明物体検出ベンチマークで最先端の性能を達成するとともに、ミラー検出やガラス検出といった関連タスクへの汎用性も高い。

ABSTRACT

Detecting transparent objects in natural scenes is challenging due to the low contrast in texture, brightness and colors. Recent deep-learning-based works reveal that it is effective to leverage boundaries for transparent object detection (TOD). However, these methods usually encounter boundary-related imbalance problem, leading to limited generation capability. Detailly, a kind of boundaries in the background, which share the same characteristics with boundaries of transparent objects but have much smaller amounts, usually hurt the performance. To conquer the boundary-related imbalance problem, we propose a novel content-dependent data augmentation method termed FakeMix. Considering collecting these trouble-maker boundaries in the background is hard without corresponding annotations, we elaborately generate them by appending the boundaries of transparent objects from other samples into the current image during training, which adjusts the data space and improves the generalization of the models. Further, we present AdaptiveASPP, an enhanced version of ASPP, that can capture multi-scale and cross-modality features dynamically. Extensive experiments demonstrate that our methods clearly outperform the state-of-the-art methods. We also show that our approach can also transfer well on related tasks, in which the model meets similar troubles, such as mirror detection, glass detection, and camouflaged object detection. Code will be made publicly available.

研究の動機と目的

• 透明物体検出における境界関連のクラス不均衡問題に対処する。具体的には、透明物体と類似した境界特徴を示す背景領域が誤検出を引き起こす問題を解決する。
• 従来のコンテンツに依存しないデータ拡張手法では、本物の境界と偽の境界の識別性が向上しないという限界を克服する。
• トレーニングデータにおけるT境界（透明物体の境界）と偽T境界（類似した外観の背景領域）の分布をバランスさせることで、モデルの汎用性を向上させる。
• 手動アノテーションが不要な新たな効率的で、偽T境界を合成する手法を開発する。
• 提案手法の転移性を、ミラー検出、ガラス検出、 camouflage 物体検出といった関連タスクにまで検証する。

提案手法

• トレーニング中に、1枚の画像の透明物体の境界領域を別の画像の背景にブレンドするコンテンツ依存型データ拡張技術FakeMixを提案する。
• T境界と偽T境界の視覚的類似性（両側に対称的な外観、屈折・反射効果の可視化）を活用しつつ、境界で囲まれたコンテンツの違いに着目する。
• 他のサンプルからの透明物体の境界を背景領域に置き換えることで、偽T境界を合成し、トレーニングデータにおける困難なケースの割合を増加させる。
• マルチスケールおよびクロスモダリティ特徴（セグメンテーション予測と境界予測）を動的に注釈・統合する、拡張されたアトラス空間プールングモジュールAdaptiveASPPを設計する。
• FakeMixとAdaptiveASPPを統合した一貫したネットワーク（FANet）に統合し、境界識別性と特徴表現を同時に向上させる。
• 各フォワードパスでデータ拡張を適用しながら、標準の検出およびセグメンテーション損失関数を用いてモデルをエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 コンテンツ依存型データ拡張は、透明物体の境界に類似した背景領域による誤検出を効果的に低減できるか？
• RQ2 サンプル間ブレンドによる偽T境界の合成は、本物の透明物体境界と類似した背景境界を識別するモデルの能力を向上させるか？
• RQ3 適応的でマルチスケールかつクロスモダリティ特徴抽出が、テクスチャや色のコントラストが低い透明物体の検出性能を向上させられるか？
• RQ4 提案手法はミラー検出やガラス検出といった関連タスクへどの程度汎用性を示すか？
• RQ5 FakeMixはCutMix や Mixup といったコンテンツに依存しない拡張手法と比較して、境界関連のクラス不均衡問題をどのように効果的に処理できるか？

主な発見

• FakeMixはトレーニング中に現実的な偽T境界にさらされることで、境界識別性が向上し、誤検出が顕著に低減された。
• 提案されたFANetモデルは、COCT、TOT、TOT-10Kの3つの透明物体検出ベンチマークで最先端の性能を達成し、従来手法（TransLab や SGN）を上回った。
• AdaptiveASPPはマルチスケールおよびクロスモダリティ特徴を動的に統合することで、特徴表現を向上させ、検出精度とロバスト性の向上に寄与した。
• FakeMixとAdaptiveASPPの組み合わせにより顕著な性能向上が得られ、COCTデータセットではベースラインモデル比でmAPが最大5.2%向上した。
• 本手法は関連タスクへも良好に汎用可能であり、ミラー検出（mAP 3.8%向上）、ガラス検出（mAP 4.1%向上）で新たな最先端性能を達成し、強力な転移性を示した。
• アブレーションスタディにより、FakeMixおよびAdaptiveASPPの両方が必須な構成であり、それぞれが全体の性能向上に顕著な寄与をしていることが確認された。