[논문 리뷰] lfda: An R Package for Local Fisher Discriminant Analysis and Visualization

Yuan Tang, Wenxuan Li|arXiv (Cornell University)|2016. 12. 11.

Face and Expression Recognition참고 문헌 6인용 수 9

한 줄 요약

이 논문은 국소 피셔 할선 분석(LFDA) 및 그 변종인 커널 LFDA와 준지도 학습 LFDA를 위한 lfda R 패키지를 소개한다. 이는 국소 내 클래스 구조를 유지하면서도 클래스 간 분離도를 극대화하는 지도 학습 기반 차원 축소를 가능하게 한다. 패키지는 ggfortify와 rgl을 통합하여 2차원 및 3차원 시각화를 제공하며, 연구자들이 다중 모달 데이터에서 성능 향상을 얻을 수 있도록 탐색적 데이터 분석 및 머신러닝 전처리를 위한 접근성 있는 도구를 제공한다.

ABSTRACT

Local Fisher discriminant analysis is a localized variant of Fisher discriminant analysis and it is popular for supervised dimensionality reduction method. lfda is an R package for performing local Fisher discriminant analysis, including its variants such as kernel local Fisher discriminant analysis and semi-supervised local Fisher discriminant analysis. It also provides visualization functions to easily visualize the dimension reduction results by using either rgl for 3D visualization or ggfortify for 2D visualization in ggplot2 style.

연구 동기 및 목표

• 기존 피셔 할선 분석이 다중 모달 데이터 분포를 다루는 데에 한계가 있다는 문제를 해결하기 위해.
• LFDA 및 그 변종을 통합한 단일 R 패키지를 제공하여 지도 학습 및 준지도 학습 기반 차원 축소를 실현하기 위해.
• 2D(ggplot2 스타일) 및 3D(rgl) 렲링을 활용한 감소된 차원 데이터의 직관적 시각화를 가능하게 하기 위해.
• 커널 기반 LFDA를 통해 비선형 데이터 구조를 지원하고, 준지도 학습을 통해 라벨이 적은 데이터 환경에서의 강인성을 확보하기 위해.
• ggfortify 및 dml와 같은 기존 R 생태계와의 통합을 통해 재현 가능성과 비교 분석을 향상시키기 위해.

제안 방법

• LFDA는 국소 보존 투영을 통해 피셔 할선 분석을 통합하며, k-최근접 이웃 유사도를 이용해 국소 내 클래스 및 클래스 간 산란 행렬을 정의한다.
• 변환 행렬은 국소 산란 행렬을 포함하는 일반화된 고유값 문제를 풀어 클래스 간 분리도를 극대화하고 내 클래스 산란도를 최소화함으로써 계산된다.
• 커널 LFDA는 데이터를 더 높은 차원의 공간으로 매핑하기 위해 가우시안 커널 행렬을 사용함으로써 비선형 분리가 가능해진다.
• 준지도 학습 LFDA는 라벨이 있는 데이터와 없는 데이터의 영향을 조절하기 위해 베타 파라미터를 도입하며, 라벨이 적은 환경에서 정규화 효과를 가지게 된다.
• 시각화는 rgl을 통한 3차원 플롯과 ggfortify를 통한 2차원 ggplot2 스타일 플롯을 통해 가능하며, 라벨이 있는 데이터의 색상 지정 및 테두리 맞춤 설정 기능을 지원한다.
• 학습된 거리 행렬을 사용하여 새로운 데이터에 대한 예측을 지원함으로써, 데이터셋 간 일관된 변환을 보장한다.

실험 결과

연구 질문

• RQ1 LFDA는 다중 모달 데이터에서 국소 내 클래스 구조를 효과적으로 유지하면서도 클래스 간 분리도를 향상시킬 수 있는가?
• RQ2 표준 LFDA에 비해 커널 LFDA는 비선형으로 분리 가능한 데이터에서 성능을 어떻게 향상시키는가?
• RQ3 라벨이 적은 샘플만 존재할 경우 준지도 학습 LFDA는 얼마나 더 강인한가?
• RQ4 lfda의 시각화 도구는 고차원 데이터셋에서의 해석 가능성과 탐색적 데이터 분석을 어떻게 지원하는가?
• RQ5 lfda가 ggfortify 및 dml와 통합되어 R 환경에서 비교 분석 및 파이프라인 개발을 어떻게 간소화할 수 있는가?

주요 결과

• lfda 패키지는 국소 피셔 할선 분석 및 그 변종을 성공적으로 구현하여 다중 모달 데이터에 대한 효과적인 차원 축소를 가능하게 하였다.
• 커널 LFDA는 비선형 관계를 포착하는 데 특히 효과적이지만, 아웃라인 데이터셋과 같은 선형으로 분리 가능한 데이터에서는 과적합의 위험이 있다.
• 베타 = 0.1을 사용한 준지도 학습 LFDA는 라벨이 부족한 상황에서 자연스러운 정규화 효과를 보이며 안정성을 향상시켰다.
• rgl과 ggfortify를 활용한 시각화 기능은 라벨이 있는 클래스 색상 지정 및 테두리 경계 설정을 지원하며, 감소된 차원의 데이터를 직관적으로 탐색할 수 있도록 한다.
• ggfortify와의 통합을 통해 lfda 모델 출력물에 표준 ggplot2 스타일 미적 요소와 플롯 함수를 원활하게 사용할 수 있게 되었다.
• 패키지는 확장 가능하게 설계되어 향후 dml 패키지와의 통합을 고려하여 거리 매트릭스 학습 알고리즘 간 비교 분석을 용이하게 한다.