[논문 리뷰] Masked Signal Decomposition Using Subspace Representation and Its Applications

Shervin Minaee, Yao Wang|arXiv (Cornell University)|2017. 04. 25.

Image and Signal Denoising Methods인용 수 8

한 줄 요약

이 논문은 비가산 신호 성분을 부분공간 표현과 이진 마스크를 사용하여 모델링하고, 교대 최적화를 통해 비볼록 문제를 해결하는 마스킹된 신호 분해 방법을 제안한다. 이 방법은 텍스트-배경 분리, 이동 물체 탐지, 정현파-스パイ크 분해와 같은 비가산 시나리오에서 분리 성능을 크게 향상시킨다.

ABSTRACT

Signal decomposition is a classical problem in signal processing, which aims to separate an observed signal into two or more components each with its own property. Usually each component is described by its own subspace or dictionary. Extensive research has been done for the case where the components are additive, but in real world applications, the components are often non-additive. For example, an image may consist of a foreground object overlaid on a background, where each pixel either belongs to the foreground or the background. In such a situation, to separate signal components, we need to find a binary mask which shows the location of each component. Therefore it requires to solve a binary optimization problem. Since most of the binary optimization problems are intractable, we relax this problem to the approximated continuous problem, and solve it by alternating optimization technique, which solves the mask and the subspace projection for each component, alternatingly and iteratively. We show the application of the proposed algorithm for three applications: separation of text from background in images, separation of moving objects from a background undergoing global camera motion in videos, separation of sinusoidal and spike components in one dimensional signals. We demonstrate in each case that considering the non-additive nature of the problem can lead to significant improvement.

연구 동기 및 목표

• 성분이 단순히 덧셈으로 조합되지 않고 서로 겹치지 않는 공간적 또는 시간적 위치를 점유하는 비가산 신호 성분을 분리하는 데 도전하는 것.
• 각 신호 성분을 낮은 차원의 부분공간 표현으로 모델링하여 그 내재된 구조를 포착하는 것.
• 성분의 위치를 식별하기 위해 이진 마스크 최적화 문제로 분해를 공식화하는 것.
• 이진 제약 조건의 비가역성 문제를 다루기 위해 연속적 근사화와 교대 최적화를 통해 실현 가능한 해를 도출하는 것.
• 가산 모델이 구조적 종속성을 포착하지 못하는 다양한 응용 분야에서 방법의 효과성을 입증하는 것.

제안 방법

• 각 신호 성분을 부분공간 투영을 사용하여 표현하며, 각 성분이 낮은 차원의 선형 부분공간에 존재한다고 가정한다.
• 이중 마스크 행렬을 도입하여 어느 픽셀 또는 샘플이 어느 성분에 속하는지 표시함으로써 성분 할당의 겹침을 방지한다.
• 최적화 문제의 실현 가능성을 확보하기 위해 이진 마스크 제약 조건을 0에서 1 사이의 연속적 근사화로 변환한다.
• 교대 최적화를 적용: 각 성분의 마스크 및 부분공간 투영 행렬을 닫힌 형태의 해를 사용해 번갈아가며 갱신한다.
• 이완된 마스크가 이진 값으로 수렴하도록 페널티 항을 도입하여 성분 간 분리 성능을 향상시킨다.
• 부분공간 추정을 위해 특이값 분해(SVD)를, 마스크 정밀화를 위해 기울기 기반 업데이트를 사용하여 하위문제를 해결한다.

실험 결과

연구 질문

• RQ1 부분공간 기반 모델링과 마스킹된 분해의 조합이 가산 모델에 비해 비가산 신호 시나리오에서 분리 성능을 향상시키는가?
• RQ2 이진 마스크 문제의 연속적 근사화가 성분의 구조를 유지하면서 효율적인 최적화를 가능하게 하는가?
• RQ3 실제 응용 분야인 텍스트 추출 및 이동 물체 탐지에서 전통적인 가산 분해에 비해 제안된 방법이 얼마나 뛰어난가?
• RQ4 이 프레임워크는 2차원 영상, 영상 시퀀스, 1차원 신호와 같은 다양한 신호 유형으로 일반화될 수 있는가?
• RQ5 각 성분에 부분공간 구조를 강제함으로써 제약 조건이 없는 성분 모델링에 비해 더 정확하고 강건한 분해가 이루어지는가?

주요 결과

• 제안된 방법은 가산 분해 방법에 비해 복잡한 배경에서 텍스트를 분리하는 데 있어 뚜렷한 성능 향상을 달성한다.
• 전경 카메라 운동이 있는 영상 시퀀스에서는 배경을 부분공간으로 모델링하고 이진 마스크를 사용해 전경 픽셀을 식별함으로써 이동 물체를 성공적으로 분리한다.
• 1차원 신호에 대해서는 정현파 성분과 스파이크 성분을 효과적으로 분리하여 일시적 및 주기적 특징에 대해 강건함을 입증한다.
• 교대 최적화 프레임워크는 모든 테스트 케이스에서 신뢰성 있고 시각적·정량적으로 열등한 분해를 생성한다.
• 이진 마스크의 연속적 근사화는 효율적인 최적화를 가능하게 하면서도 진정한 이진 할당에 높은 정밀도를 유지한다.
• 부분공간 표현의 사용은 특히 성분이 구조적, 낮은 질량 특성을 가지는 경우 성분 모델링 정확도를 향상시킨다.