[논문 리뷰] Finding Alternate Features in Lasso

Satoshi Hara, Takanori Maehara|arXiv (Cornell University)|2016. 11. 18.

Italy: Economic History and Contemporary Issues참고 문헌 4인용 수 4

한 줄 요약

이 논문은 라소가 선택하지 않은 대신 모델 해석에 유용할 만한 대체 기능을 식별하는 방법을 제안한다. 상관관계가 높은 라소가 선택한 기능과 관련된 단변량 최적화 문제를 효율적으로 해결함으로써, 유사한 모델 성능을 유지하는 대체 기능을 드러내어 고차원 데이터, 예를 들어 텍스트 분류에서 사용자 신뢰도와 모델의 맞춤형 설정 가능성을 향상시킨다.

ABSTRACT

We propose a method for finding alternate features missing in the Lasso optimal solution. In ordinary Lasso problem, one global optimum is obtained and the resulting features are interpreted as task-relevant features. However, this can overlook possibly relevant features not selected by the Lasso. With the proposed method, we can provide not only the Lasso optimal solution but also possible alternate features to the Lasso solution. We show that such alternate features can be computed efficiently by avoiding redundant computations. We also demonstrate how the proposed method works in the 20 newsgroup data, which shows that reasonable features are found as alternate features.

연구 동기 및 목표

• 고차원 데이터에서 희소성과 상관관계로 인해 라소가 관련 기능을 누락하는 문제를 해결하기 위해.
• 라소가 선택한 기능을 대체할 수 있는 사용자 친화적인 기능을 제공하여 모델 성능을 저하시키지 않도록 하기 위해.
• 표준 라소가 간과한 도메인 전문 지식과 일치하는 기능을 드러내어 모델의 해석 가능성과 사용자 신뢰도를 향상시키기 위해.
• 모든 비선택 기능에 대해 반복적인 최적화를 피하는 효율적인 계산 프레임워크를 개발하기 위해.

제안 방법

• 라소가 선택한 기능 $x_i$에 대해, 비선택 기능 $x_j$가 대체로 기능할 수 있는지 평가하기 위해 $\beta_i = 0$로 고정하고 라소 목표 함수에서 $\beta_j$를 최적화한다.
• 각 $x_j$에 대한 최적화 문제는 단변량 문제로 단순화된다: $\beta_j^{(i)} = \arg\min_{\beta_j} f(z^{(i)} + X_j\beta_j, y) + \rho|\beta_j|$, 여기서 $z^{(i)}$는 다른 모든 기능의 잔차이다.
• 비교적 낮은 기여도를 가지는 기능은 최적화를 생략하기 위해 필터링 단계를 도입한다: $|X_j^T \nabla f(z^{(i)}, y)| \leq \rho$ 이면 $x_j$에 대한 최적화를 생략한다.
• 대체 기능은 라소 목표 함수의 증가량을 기반으로 점수를 매긴다: $\text{score}(x_i \to x_j) = L(\beta^{i\to j}) - L(\beta^*)$, 낮은 값일수록 더 높은 관련성을 의미한다.
• 이중 그래프 시각화 기법을 사용해 선택된 기능과 대체 기능 간의 관계를 탐색할 수 있도록 한다.
• 20 Newsgroups 데이터셋에서 검증한 결과, 전체 최적화가 필요한 조합의 수가 약 450,000개에서 단 53개로 줄어들어 계산량이 약 10,000배 감소하였다.

실험 결과

연구 질문

• RQ1 전체 모델 재학습 없이도, 라소가 선택하지 않은 기능 중에서 유효한 대체 기능을 효율적으로 식별할 수 있는가?
• RQ2 모델 성능과 해석 가능성의 관점에서, 라소가 선택한 기능과 관련된 대체 기능의 관련성을 어떻게 측정할 수 있는가?
• RQ3 비선택 기능 전부에 대해 단변량 최적화를 수행하는 것을 피하기 위해 적용 가능한 계산 최적화 기법은 무엇인가?
• RQ4 이 방법으로 발견한 대체 기능은 실제 텍스트 분류 작업에서 도메인 지식과 어떻게 비교되는가?
• RQ5 이 방법은 모델 일반화 능력을 해칠 수 있는 허위 기능(예: 서명어)을 탐지하고 제거하는 데 도움이 될 수 있는가?

주요 결과

• 제안된 방법은 ibm.pc.hardware 대비 mac.hardware 작업에서 최적화가 필요한 수를 약 450,000개에서 단 53개로 줄여 계산량을 약 10,000배 감소시켰다.
• sci.med 대비 sci.space 작업에서는 단어 'gordon'이 sci.med에서 반복적으로 나타나는 서명과 관련이 있음을 정확히 식별했으며, 그 대체 기능들은 주로 해당 서명에서 유래된 것으로 확인되었다.
• 단어 'space'의 최상위 대체 기능으로 'shuttle'가 선정되었는데, 이는 sci.space 카테고리와 매우 관련성이 높아서 방법의 의미적 유의미한 대체 기능 탐지 능력을 확인시켰다.
• 이 방법은 'drive', 'bios', 'windows'가 상호 간에 대체 기능으로서 상호 연결되어 있음을 드러내었으며, 모두 IBM PC 하드웨어와 관련이 있어 도메인 지식과 일치함을 보였다.
• 목표 함수 증가량을 기반으로 한 점수 기반 순위 매기기가 의미적으로 일관된 대체 기능을 높은 순위로 매겨, 사용자가 관련 없거나 허위 기능을 효과적으로 걸러낼 수 있도록 했다.
• 이중 그래프 시각화를 통해 특징 쌍을 탐색한 결과, 마크 제품명(예: Centris 610)과 윈도우 관련 용어 등 의미 있는 클러스터가 나타나, 방법의 해석 가능성 향상 효과를 검증하였다.