[論文レビュー] High-Resolution Representations for Labeling Pixels and Regions

Ke Sun, Yang Zhao+8 more|arXiv (Cornell University)|Apr 9, 2019

Digital Image Processing Techniques参考文献 129被引用数 661

ひとこと要約

本論文は、HRNetを拡張し、すべての並列高→低解像度から表現を集約する（HRNetV2）ことで、より強力な高解像度特徴を提供し、セマンティックセグメンテーションと顔特徴点検出で最先端の成果を達成するとともに、物体検出のための強力な多層表現を実現する。

ABSTRACT

High-resolution representation learning plays an essential role in many vision problems, e.g., pose estimation and semantic segmentation. The high-resolution network (HRNet)~\cite{SunXLW19}, recently developed for human pose estimation, maintains high-resolution representations through the whole process by connecting high-to-low resolution convolutions in \emph{parallel} and produces strong high-resolution representations by repeatedly conducting fusions across parallel convolutions. In this paper, we conduct a further study on high-resolution representations by introducing a simple yet effective modification and apply it to a wide range of vision tasks. We augment the high-resolution representation by aggregating the (upsampled) representations from all the parallel convolutions rather than only the representation from the high-resolution convolution as done in~\cite{SunXLW19}. This simple modification leads to stronger representations, evidenced by superior results. We show top results in semantic segmentation on Cityscapes, LIP, and PASCAL Context, and facial landmark detection on AFLW, COFW, $300$W, and WFLW. In addition, we build a multi-level representation from the high-resolution representation and apply it to the Faster R-CNN object detection framework and the extended frameworks. The proposed approach achieves superior results to existing single-model networks on COCO object detection. The code and models have been publicly available at \url{https://github.com/HRNet}.

研究の動機と目的

• 姿勢推定を超えるピクセル/領域ラベリングタスクのための高解像度表現を動機づけ、改善する。
• すべての並列解像度からの表現を活用するためのHRNetの単純な修正を検討する。
• セマンティックセグメンテーション、顔特徴点検出、物体検出タスクを通じてこの手法を実証する。
• マルチレベルの高解像度特徴が小さな物体の検出と全体的な性能を向上させることを示す。

提案手法

• 繰り返しのマルチスケール融合を伴う並列マルチ解像度畳み込みによって高解像度表現を維持する。
• 高解像度ストリームのみならず、すべての並列解像度からのアップサンプル表現を集約してHRNetV2を導入する。
• 低解像度分岐の特徴をアップサンプルして連結し、より豊かな高解像度表現を形成する。
• 検出のために高解像度表現をダウンサンプリングして特徴ピラミッド（HRNetV2 p）の多層特徴を作成する。
• 4段階のバックボーンとマルチ解像度ブロックを用いてインスタンス化し、タスク固有のヘッドに先立ってすべての解像度の特徴を混成する。
• 高解像度出力にセグメンテーションヘッドを適用してセマンティックセグメンテーションと顔特徴点ヒートマップを作成し、Faster R-CNN/Mask R-CNN/Cascade R-CNNの多層特徴を構築する。

実験結果

リサーチクエスチョン

• RQ1 すべての高→低解像度ブランチからの表現を集約することで高解像度特徴の品質を向上させることができるか？
• RQ2 HRNetV2の表現は元のHRNetよりも良いセマンティックセグメンテーションと顔特徴点検出をもたらすか？
• RQ3 マルチレベルのHRNet表現はFaster R-CNNおよび拡張版のような物体検出フレームワークを改善するか？

主な発見

• HRNetV2はすべての並列解像度を活用することで高解像度表現を大幅に強化する。
• Cityscapes、PASCAL Context、LIPでセマンティックセグメンテーションの最先端結果を、効率的なモデルサイズと計算で達成。
• 顔特徴点検出でAFLW、COFW、300W、WFLWの最良結果を達成。
• マルチレベルHRNet表現（HRNetV2 p）はFaster R-CNN/Mask R-CNN/Cascade R-CNNに組み込まれた場合、COCO物体検出を改善する。
• Faster R-CNNおよびCascade R-CNN設定で、COCO test-devにおいてマルチスケールの学習/検証なしで、同等の単一モデル検出器を上回る。