[논문 리뷰] Generalized two-dimensional linear discriminant analysis with regularization

Chun‐Na Li, Yuan‐Hai Shao외 3명|arXiv (Cornell University)|2018. 01. 23.

Face and Expression Recognition인용 수 9

한 줄 요약

이 논문은 일반화된 두 차원 선형 판별 분 析에 정규화를 적용한 G2DLDA를 제안한다. 이는 임의의 Lp-노름을 사용해 군 간 및 군 내 산란을 계산하고, 특이성 문제를 해결하고 일반화 성능을 향상시키기 위해 정규화 항을 포함하는 강건하고 일반화 가능한 프레임워크이다. 1≤p≤2 범위에서 수렴하는 반복 알고리즘을 통해 해결되며, 노이즈가 있는 얼굴 데이터베이스에서 2DLDA 및 L12DLDA보다 뛰어난 성능을 보인다.

ABSTRACT

Recent advances show that two-dimensional linear discriminant analysis (2DLDA) is a successful matrix based dimensionality reduction method. However, 2DLDA may encounter the singularity issue theoretically and the sensitivity to outliers. In this paper, a generalized Lp-norm 2DLDA framework with regularization for an arbitrary $p>0$ is proposed, named G2DLDA. There are mainly two contributions of G2DLDA: one is G2DLDA model uses an arbitrary Lp-norm to measure the between-class and within-class scatter, and hence a proper $p$ can be selected to achieve the robustness. The other one is that by introducing an extra regularization term, G2DLDA achieves better generalization performance, and solves the singularity problem. In addition, G2DLDA can be solved through a series of convex problems with equality constraint, and it has closed solution for each single problem. Its convergence can be guaranteed theoretically when $1\leq p\leq2$. Preliminary experimental results on three contaminated human face databases show the effectiveness of the proposed G2DLDA.

연구 동기 및 목표

• 표본 수가 특징 차원 수에 비해 적을 때 발생하는 두 차원 선형 판별 분석(2DLDA)의 특이성 문제를 해결한다.
• 모델 복잡도를 제어하고 과적합을 줄이기 위해 정규화 항을 도입하여 일반화 성능을 향상시킨다.
• 산란 계산에서 표준 L2-노름을 임의의 Lp-노름(p>0)으로 대체하여 이상치에 대한 강건성을 향상시킨다.
• 1≤p≤2 범위에서 비볼록인 G2DLDA 문제를 해결하기 위한 수렴하는 효율적인 최적화 알고리즘을 개발한다.
• Lp-노름의 강건성과 정규화를 결합한 통합적이고 일반화된 프레임워크를 제공하여 2DLDA와 L12DLDA를 확장한다.

제안 방법

• p>0를 통해 탄력적인 강건성 조정이 가능한 Lp-노름을 사용해 군 간 및 군 내 산란을 측정하는 일반화된 2DLDA 모델을 제안한다.
• 해결의 안정성과 특이성 방지를 위해 정규화 항 ||W||_p^p 를 도입하여 일반화 성능을 향상시킨다.
• 보조 함수 접근법을 통해 최적화 문제를 연속적인 볼록 하위문제로 재구성한다.
• 반복 알고리즘을 설계하여 투영 행렬 W와 보조 변수를 번갈아 업데이트함으로써 1≤p≤2 범위에서 수렴성을 보장한다.
• 각 단계에서 닫힌 형태의 해를 사용하여 계산 효율성과 이론적 수렴 보장을 확보한다.
• 비볼록성 문제를 다루기 위해 비탐욕적이고 순차적인 볼록 근사 기법을 적용한다.

실험 결과

연구 질문

• RQ1 정규화를 적용한 일반화된 Lp-노름 2DLDA 프레임워크가 기존 2DLDA에서 내재된 특이성 문제를 효과적으로 해결할 수 있는가?
• RQ2 Lp-노름에서 p의 선택이 이상치 및 노이즈 데이터에 대한 모델의 강건성에 어떤 영향을 미치는가?
• RQ3 정규화 항의 포함이 테스트 데이터에서 2DLDA의 일반화 성능을 뚜렷이 향상시키는가?
• RQ4 제안된 반복 알고리즘이 특히 1≤p≤2 범위에서 넓은 p 값에 대해 수렴하는가?
• RQ5 일반화된 프레임워크가 L12DLDA 및 2DLDA와 같은 기존 2DLDA 변종보다 다양한 노이즈 조건에서 정확도 측면에서 뛰어나게 성능을 내는가?

주요 결과

• 30%의 소르트-앤드-페퍼 노이즈가 있는 오르얼 데이터베이스에서, p=1.5를 사용한 G2DLDA는 12차원으로 압축했을 때 87.50%의 정확도를 기록하여 2DLDA(80.00%)와 L12DLDA(73.13%)를 능가했다.
• 표준편차 0.1인 가우시안 노이즈가 있는 AR 데이터베이스에서, p=1.5를 사용한 G2DLDA는 3차원으로 압축했을 때 85.67%의 정확도를 기록하여 2DLDA(81.33%)와 L12DLDA(82.33%)를 초월했다.
• 30%의_blk_블록 가림이 있는 FERET 데이터베이스에서, p=1을 사용한 G2DLDA는 3차원으로 압축했을 때 33.17%의 정확도를 기록하여 2DLDA(30.67%)와 L12DLDA(23.00%)를 크게 앞섰다.
• 최적의 p 값은 데이터셋에 따라 달라졌다: ORL에서는 p=1.5, AR에서는 p=1.5, FERET에서는 p=1이었으며, 이는 p 기반의 강건성 조정 가능성을 시사했다.
• 정규화 항은 특이성을 효과적으로 방지하였고, 이론적으로 보장된 바와 같이 반복 알고리즘이 1≤p≤2 범위에서 안정적으로 수렴하였다.
• p=1을 사용한 G2DLDA는 AR 데이터베이스에서 가장 높은 정확도(88.67%)를 기록했고, FERET 데이터베이스에서는 10% 노이즈 조건에서 40.50%의 정확도를 기록하여 강력한 일반화 및 강건성을 입증했다.