[논문 리뷰] A propagation matting method based on the Local Sampling and KNN Classification with adaptive feature space

Xiao Chen, Fazhi He|arXiv (Cornell University)|2016. 05. 03.

Image Enhancement Techniques참고 문헌 11인용 수 5

한 줄 요약

이 논문은 복잡한 영역에서 이미지 매스팅 성능을 향상시키기 위해 적응형 특징 공간 내에서 局부 샘플링과 KNN 분류를 결합한 전파 매스팅 방법을 제안한다. 지역적 이미지 품질에 따라 동적으로 局부 샘플링과 KNN 분류 간을 선택하고 가중치 제약 조건을 적용함으로써, 구멍이나 좁은 구조와 같은 어려운 영역에서 뛰어난 성능을 달성한다. 이는 잘 전파된 이미지에서는 Closed Form 매스팅과 유사한 결과를 유지하면서도 이러한 영역에서 더 뛰어난 성능을 보인다.

ABSTRACT

Closed Form is a propagation based matting algorithm, functioning well on images with good propagation . The deficiency of the Closed Form method is that for complex areas with poor image propagation , such as hole areas or areas of long and narrow structures. The right results are usually hard to get. On these areas, if certain flags are provided, it can improve the effects of matting. In this paper, we design a matting algorithm by local sampling and the KNN classifier propagation based matting algorithm. First of all, build the corresponding features space according to the different components of image colors to reduce the influence of overlapping between the foreground and background, and to improve the classification accuracy of KNN classifier. Second, adaptively use local sampling or using local KNN classifier for processing based on the pros and cons of the sample performance of unknown image areas. Finally, based on different treatment methods for the unknown areas, we will use different weight for augmenting constraints to make the treatment more effective. In this paper, by combining qualitative observation and quantitative analysis, we will make evaluation of the experimental results through online standard set of evaluation tests. It shows that on images with good propagation , this method is as effective as the Closed Form method, while on images in complex regions, it can perform even better than Closed Form.

연구 동기 및 목표

• 구멍이나 좁은 구조와 같은 복잡한 이미지 영역에서 Closed Form 매스팅의 한계를 해결하기 위해.
• 이미지 색상 성분에 맞게 특징 공간을 구성하여 겹치는 전경과 배경 영역의 분류 정확도를 향상시키기 위해.
• 지역적 샘플 품질에 따라 동적으로 局부 샘플링과 KNN 분류 간을 선택하여 최적의 매스팅 성능를 확보하기 위해.
• 알 수 없는 또는 모호한 이미지 영역에서 적응형 가중치 제약 조건을 통해 매스팅 효과를 향상시키기 위해.

제안 방법

• RGB, LAB 등 색상 성분을 사용하여 전경-배경 겹침을 줄이고 KNN 분류기 정확도를 향상시키기 위해 적응형 특징 공간을 구축한다.
• 알 수 없는 이미지 영역에서 局부 샘플링 또는 KNN 분류를 적용할지 결정하기 위해 지역적 샘플 품질을 평가한다.
• 선택된 처리 방법에 따라 제약 조건에 다른 가중치를 적용하여 모호한 영역에서의 강인성을 향상시킨다.
• 학습된 특징 표현을 사용한 KNN 분류를 통해 알려진 영역에서 알 수 없는 영역으로 매스팅 결과를 전파한다.
• 지역적 이미지 특성에 따라 특징 공간과 분류 전략을 적응적으로 조정하여 복잡한 질감과 구조에서 정확도를 향상시킨다.
• 로컬 샘플링과 KNN 기반 전파를 적응형 의사결정과 통합하여 강인성과 정밀도의 균형을 도모한다.

실험 결과

연구 질문

• RQ1 적응형 특징 공간은 이미지 매스팅에서 전경-배경 겹침을 줄이고 KNN 분류 정확도를 향상시킬 수 있는가?
• RQ2 지역적 샘플 품질 기반으로 동적으로 局부 샘플링과 KNN 분류를 선택할 경우, 복잡한 이미지 영역에서 매스팅 성능에 어떤 영향을 미치는가?
• RQ3 가중치를 적용한 제약 조건 통합은 모호하거나 알 수 없는 이미지 영역에서 매스팅 결과를 향상시킬 수 있는가?
• RQ4 제안된 방법은 구멍이나 좁은 구조가 있는 이미지와 같이 전파가 잘 되지 않는 경우 Closed Form 매스팅을 능가하는가?
• RQ5 고정된 방법에 비해 적응형 특징 공간과 분류 전략은 얼마나 매스팅 정확도를 향상시키는가?

주요 결과

• 좋은 전파가 이루어진 이미지에서는 제안된 방법이 Closed Form 매스팅과 유사한 성능을 달성하며, 잘 정돈된 영역에서 높은 정확도를 유지한다.
• 구멍이나 긴 좁은 구조와 같은 복잡한 영역에서는 제안된 방법이 Closed Form 매스팅을 크게 능가하며, 더 뛰어난 강인성을 보여준다.
• 적응형 특징 공간의 사용은 전경-배경 색상 겹침으로 인한 분류 오류를 줄여 KNN 기반 매스팅의 신뢰성을 향상시킨다.
• 지역적 영역마다 최적의 전략을 선택하는 동적 선택 전략은 더 정확한 매스팅 결과를 도출한다.
• 가중치를 적용한 제약 조건 통합은 전통적 전파가 실패하는 영역에서 특히 효과적으로 매스팅 효과를 향상시킨다.
• 표준 벤치마크에서의 정량적 평가 결과, 복잡한 영역에서의 방법의 열등함이 입증되었으며, 매스팅 오차 지표에서 측정 가능한 향상이 있었다.