[論文レビュー] Pixel Difference Networks for Efficient Edge Detection

Zhuo Su, Wenzhe Liu+6 more|arXiv (Cornell University)|Aug 16, 2021

Advanced Neural Network Applications参考文献 64被引用数 14

ひとこと要約

本論文では、新しいピクセル差分畳み込み（PDC）を用いて、従来のエッジ検出演算子（例：Sobel、Canny）を畳み込み層に統合する軽量で効率的なエッジ検出アーキテクチャであるピクセル差分ネットワーク（PiDiNet）を提案する。PiDiNetは、ImageNetの事前学習を一切行わず、BSDS500で人間水準の性能（0.807のODS Fスコア）を達成し、パラメータ数は710K、推論速度は100 FPSである。従来手法に比べて効率性と精度の両面で優れている。

ABSTRACT

Recently, deep Convolutional Neural Networks (CNNs) can achieve human-level performance in edge detection with the rich and abstract edge representation capacities. However, the high performance of CNN based edge detection is achieved with a large pretrained CNN backbone, which is memory and energy consuming. In addition, it is surprising that the previous wisdom from the traditional edge detectors, such as Canny, Sobel, and LBP are rarely investigated in the rapid-developing deep learning era. To address these issues, we propose a simple, lightweight yet effective architecture named Pixel Difference Network (PiDiNet) for efficient edge detection. Extensive experiments on BSDS500, NYUD, and Multicue are provided to demonstrate its effectiveness, and its high training and inference efficiency. Surprisingly, when training from scratch with only the BSDS500 and VOC datasets, PiDiNet can surpass the recorded result of human perception (0.807 vs. 0.803 in ODS F-measure) on the BSDS500 dataset with 100 FPS and less than 1M parameters. A faster version of PiDiNet with less than 0.1M parameters can still achieve comparable performance among state of the arts with 200 FPS. Results on the NYUD and Multicue datasets show similar observations. The codes are available at https://github.com/zhuoinoulu/pidinet.

研究の動機と目的

• 最先端のエッジ検出モデルにおける大規模なCNNバックボーンによる高い計算コストとメモリ使用量を低減すること。
• 古典的なエッジ検出演算子（例：Sobel、Canny）をディープラーニングフレームワークに統合し、勾配に敏感な特徴学習を向上させること。
• 最小限のモデルサイズと推論遅延で高性能なエッジ検出を実現し、大規模な事前学習の必要性を排除すること。
• BSDS500やVOCといった限定的なデータセットのみを用いて、スクラッチから学習することで、モデルが人間水準の精度に達成できることを示すこと。

提案手法

• 入力特徴マップ内のピクセルペア間の差分を計算した後、標準的な畳み込み重みを適用する新しい畳み込み演算であるピクセル差分畳み込み（PDC）を提案する。
• PDCは局所的な画像パッチからの勾配情報を明示的に符号化することで、ランダムな重み初期化に依存せずにエッジ検出をより良くする。
• PDCブロックに基づく軽量なネットワークアーキテクチャ、PiDiNetを設計し、パラメータ数を削減するとともに推論速度を向上させる。
• BSDS500およびVOCデータセットのみを用いて、ImageNetの事前学習を回避して、PiDiNetをエンドツーエンドでスクラッチから学習する。
• HED や RCF と同様に、マルチスケールの監視とスキップ接続を用いて、細粒度なエッジ詳細を保持する。
• MAC数とモデルサイズを最小限に抑えることで推論効率を最適化し、競争力のある精度を維持する。

実験結果

リサーチクエスチョン

• RQ1 CNNに古典的なエッジ検出演算子を統合することで、モデルの複雑さを増さずにエッジ検出性能を向上させることができるか？
• RQ2 スクラッチから学習した軽量CNNが、エッジ検出ベンチマークで人間水準の性能を達成できるか？
• RQ3 提案されたPDC層は、標準的な畳み込みと比較して勾配感度とエッジ局所化を向上させるか？
• RQ4 大規模な事前学習バックボーンに依存する最先端モデルと比較して、PiDiNetは精度と効率の両面で優れているか？

主な発見

• PiDiNetはBSDS500データセットで0.807のODS Fスコアを達成し、人間の知覚ベンチマーク（0.803）を上回っている。パラメータ数は710K、推論速度は100 FPSである。
• 0.1Mパラメータ未満の小型バージョンのPiDiNetは215 FPSで動作し、ODS Fスコアは0.787を達成しており、最先端のモデルと同等の性能を示している。
• NYUDデータセットでは、RGB-HHA設定でODS Fスコア0.756（62 FPS）を達成し、HED や BDCN よりも速度と精度の両面で優れている。
• Multicueデータセットでは、境界（boundary）でODS Fスコア0.855、エッジ（edge）で0.860を達成し、精度面でSOTAモデルと同等またはそれを上回っている。
• PiDiNet-Lという大規模バージョンは、NYUDで88 FPS、Multicueで23 FPSを達成しており、さまざまなデータセットで高い推論効率を示している。
• アブレーションスタディの結果、PDCは勾配感度を向上させることでエッジ検出品質を改善していることが確認され、RCF、CED、BDCNとの定性的比較でもその有効性が示された。