[논문 리뷰] L1-norm Error Function Robustness and Outlier Regularization

Chris Ding, Bo Jiang|arXiv (Cornell University)|2017. 05. 28.

Sparse and Compressive Sensing Techniques참고 문헌 14인용 수 10

한 줄 요약

이 논문은 이상치가 존재하는 상황에서 L1-노름 오차 함수의 강건성에 대한 설명을 위해 이상치 정규화 프레임워크를 제안한다. 이상치를 별도로 모델링하고 L1의 연속적 등가를 사용함으로써, 특이값 억제를 피하고 작은 고질서 성분을 유지하며 추적노름 기반 접근법보다 계산 효율성이 높은 새로운 강건 PCA 변종(ORPCA)을 가능하게 한다.

ABSTRACT

In many real-world applications, data come with corruptions, large errors or outliers. One popular approach is to use L1-norm function. However, the robustness of L1-norm function is not well understood so far. In this paper, we present a new outlier regularization framework to understand and analyze the robustness of L1-norm function. There are two main features for the proposed outlier regularization. (1) A key property of outlier regularization is that how far an outlier lies away from its theoretically predicted value does not affect the final regularization and analysis results. (2) Another important feature of outlier regularization is that it has an equivalent continuous representation that closely relates to L1 function. This provides a new way to understand and analyze the robustness of L1 function. We apply our outlier regularization framework to PCA and propose an outlier regularized PCA (ORPCA) model. Comparing to the trace-normbased robust PCA, ORPCA has several benefits: (1) It does not suffer singular value suppression. (2) It can retain small high rank components which help retain fine details of data. (3) ORPCA can be computed more efficiently.

연구 동기 및 목표

• 이상치 존재 시 L1-노름 오차 함수의 강건성에 대한 이해를 높이기 위해, 이는 실무에서 여전히 잘 이해되지 않은 분야이다.
• 핵심 데이터 피팅에서 이상치 모델링을 분리하는 새로운 이상치 정규화 프레임워크를 개발하기 위해.
• 이상치 오염 하에서 L1-노름 행동의 연속적이고 해석 가능한 표현을 제공하기 위해.
• 이 프레임워크를 PCA에 적용하여, 구조적 및 계산적 성질이 향상된 새로운 강건 PCA 모델(ORPCA)을 도출하기 위해.
• 특이값 억제 및 세부 정보 손실 등의 문제를 겪는 추적노름 기반 강건 PCA의 한계를 극복하기 위해.

제안 방법

• 각 데이터 포인트를 청소된 성분과 이상치 성분으로 분해하고, 이상치 성분을 별도로 모델링하는 이상치 정규화 프레임워크를 도입한다.
• 예측 값으로부터의 거리에 의존하지 않고 이상치 이격 정도를 벌어지게 하는 정규화 항을 정의한다.
• 이상치 정규화 프레임워크를 통해 L1-노름 함수의 연속적 등가 표현을 수립함으로써 분석적 취급 가능성을 확보한다.
• 이상치 정규화를 PCA 목표 함수에 통합하여 이상치 정규화된 PCA(ORPCA) 모델을 구성한다.
• 저질서 성분과 이상치 성분을 번갈아 업데이트하는 교대 최소화 알고리즘을 사용해 ORPCA 최적화 문제를 해결한다.
• 설계상으로 특이값 억제를 피하고 작은 고질서 성분을 유지함을 입증한다.

실험 결과

연구 질문

• RQ1 왜 L1-노름 오차 함수는 이상치에 강건한가? 그 배경 메커니즘은 무엇인가?
• RQ2 정규화의 안정성을 확보하기 위해 이상치의 영향을 크기와 독립적으로 모델링할 수 있는가?
• RQ3 이상치 정규화를 통해 L1-노름의 연속적 표현을 유도할 수 있는가? 이를 통해 분석적 이해를 향상시킬 수 있는가?
• RQ4 제안된 ORPCA 모델은 추적노름 기반 강건 PCA보다 데이터 구조 유지 및 계산 효율성 측면에서 뛰어나다고 할 수 있는가?
• RQ5 ORPCA는 전통적인 강건 PCA 방법에서 흔히 억제되는 작은 고질서 성분을 유지할 수 있는가?

주요 결과

• 제안된 이상치 정규화 프레임워크는 예측 값으로부터의 거리에 영향을 받지 않는 새로운 분석적 기반을 제공하여 L1-노름의 강건성에 대한 이해를 심화한다.
• 프레임워크의 연속적 등가 표현은 L1-노름에 매우 가까이 근접하여 엄밀한 분석과 최적화를 가능하게 한다.
• ORPCA는 특이값 억제를 피하며, 데이터 내에서 소규모이지만 정보가 풍부한 고질서 성분을 유지한다.
• ORPCA는 추적노름 기반 강건 PCA 방법에서 흔히 손실되는 세부 정보를 유지한다.
• 최적화 구조 덕분에 ORPCA 모델은 추적노름 기반 대안보다 계산적으로 더 효율적이다.
• 실험 결과는 ORPCA가 이상치 처리 능력과 데이터 무결성 유지 능력에서 기존 강건 PCA 방법을 뛰어넘음을 확인한다.