[論文レビュー] Hierarchical Piecewise-Constant Super-regions

Imanol Luengo, Mark Basham+1 more|arXiv (Cornell University)|May 19, 2016

Medical Image Segmentation Techniques参考文献 25被引用数 4

ひとこと要約

本稿では、量子化された特徴空間における異方的ノイズ除去を用い、その後にグラフベースの分割統合手法を適用することで、高品質なスーパープixelsを生成する、階層的区分定数スーパーサブグループ（HPCS）と呼ばれる新しいスーパープixelアルゴリズムを提案する。さらに、この手法を階層的フレームワークに一般化し、画像境界を強く保持したまま、徐々に粗いスーパーサブグループを生成する。計算コストとメモリ使用量が低く、最先端の性能を達成している。

ABSTRACT

Recent applications in computer vision have come to heavily rely on superpixel over-segmentation as a pre-processing step for higher level vision tasks, such as object recognition, image labelling or image segmentation. Here we present a new superpixel algorithm called Hierarchical Piecewise-Constant Super-regions (HPCS), which not only obtains superpixels comparable to the state-of-the-art, but can also be applied hierarchically to form what we call n-th order super-regions. In essence, a Markov Random Field (MRF)-based anisotropic denoising formulation over the quantized feature space is adopted to form piecewise-constant image regions, which are then combined with a graph-based split & merge post-processing step to form superpixels. The graph and quantized feature based formulation of the problem allows us to generalize it hierarchically to preserve boundary adherence with fewer superpixels. Experimental results show that, despite the simplicity of our framework, it is able to provide high quality superpixels, and to hierarchically apply them to form layers of over-segmentation, each with a decreasing number of superpixels, while maintaining the same desired properties (such as adherence to strong image edges). The algorithm is also memory efficient and has a low computational cost.

研究の動機と目的

• 強い境界適合性を維持した高速でメモリ効率の良いスーパープixelアルゴリズムの開発。
• スーパープixelの過剰分割を階層的フレームワークに一般化し、複数スケールの画像表現を可能にすること。
• スーパープixel数を削減しながらも、知覚的・構造的品質を保持できるようにすること。
• 他のスーパープixel手法の後処理ステップとしての適用可能性を示すこと。
• 高階MRFモデルとの統合を検討し、意味セグメンテーションタスクへの応用を検討すること。

提案手法

• 量子化された特徴空間における異方的ノイズ除去を用いて、グローバルエネルギー最小化問題としてスーパープixel生成を定式化する。
• マークフ・ランダムフィールド（MRF）に基づくノイズ除去定式化を適用し、区分定数の画像領域を生成する。
• グラフベースの分割統合アルゴリズムを用いて、ノイズ除去後の領域をスーパープixelに精緻化する。
• スーパープixelグラフに対して再帰的にアルゴリズムを適用することで、n次スーパーサブグループを形成するなど、階層的に手法を一般化する。
• 特徴の量子化の安定性を高めるために、複数回の再起動を伴うk-means++を採用し、初期化のばらつきを低減する。
• カラーと平均カラーを特徴として処理するが、SIFTやフィルタバンクなどの高密度特徴へも、わずかな修正で拡張可能である。

実験結果

リサーチクエスチョン

• RQ1 単純なグローバルエネルギー最小化フレームワークが、最先端の手法と同等またはそれ以上のスーパープixel品質を達成できるか？
• RQ2 階層的な過剰分割を、より粗い境界を保持したスーパーサブグループを効果的に生成できるように一般化できるか？
• RQ3 階層的HPCSフレームワークは、領域数の削減と同時に境界適合性を維持または向上できるか？
• RQ4 HPCSが他のアルゴリズムのスーパープixel数を削減するための効率的な後処理ステップとして利用できるか？
• RQ5 階層的定式化は、意味セグメンテーションタスクにおける高階MRFポテンシャルとどのように統合できるか？

主な発見

• HPCSはSLICやSEEDSなどの最先端手法と同等またはそれ以上のスーパープixel品質を達成しており、N=400のスーパープixelsに対してBR = 0.650、CUE = 0.126、ASA = 0.875を達成した。
• SLICが生成したスーパープixelsに対してHPCSを第二段階の処理として適用することで、領域数を400から平均26に削減したが、性能指標は維持またはわずかに向上した。
• 階層的後処理ステップは1枚あたり0.5秒未塔で実行され、高い計算効率を示した。
• すべての階層レベルで強い画像境界を保持しており、複雑なシーンにおいても一貫したエッジ適合性が定性的に確認された。
• k-means++を複数回再起動することで初期化に頼らずに安定した結果が得られ、実行ごとの安定性が確保された。
• SIFTやフィルタバンクなどの他の特徴空間へも、最小限の実装変更で一般化可能である。