[논문 리뷰] Supervised Feature Selection in Graphs with Path Coding Penalties and Network Flows

Julien Mairal, Bin Yu|arXiv (Cornell University)|2012. 04. 20.

Gene expression and cancer classification참고 문헌 68인용 수 38

한 줄 요약

이 논문은 방향성 비순환 그래프(DAGs)에서 지도 학습을 통한 특징 선택을 위한 경로 인코딩 페널티를 제안하며, 네트워크 플로우 최적화를 활용하여 경로 선택 하位문제를 효율적으로 해결한다. 이 방법은 잘 연결된 부분그래프를 촉진하는 계산 가능하고 구조적인 희박성(스parseness)을 가능하게 하여, 합성 데이터, 이미지 및 유전체 데이터에서 기존 방법보다 연결성과 확장성 면에서 뛰어나다.

ABSTRACT

We consider supervised learning problems where the features are embedded in a graph, such as gene expressions in a gene network. In this context, it is of much interest to automatically select a subgraph with few connected components; by exploiting prior knowledge, one can indeed improve the prediction performance or obtain results that are easier to interpret. Regularization or penalty functions for selecting features in graphs have recently been proposed, but they raise new algorithmic challenges. For example, they typically require solving a combinatorially hard selection problem among all connected subgraphs. In this paper, we propose computationally feasible strategies to select a sparse and well-connected subset of features sitting on a directed acyclic graph (DAG). We introduce structured sparsity penalties over paths on a DAG called "path coding" penalties. Unlike existing regularization functions that model long-range interactions between features in a graph, path coding penalties are tractable. The penalties and their proximal operators involve path selection problems, which we efficiently solve by leveraging network flow optimization. We experimentally show on synthetic, image, and genomic data that our approach is scalable and leads to more connected subgraphs than other regularization functions for graphs.

연구 동기 및 목표

• 그래프 구조화된 데이터에서 희박하고 잘 연결된 특징 부분집합을 선택하는 데 도전하는 문제를 해결하기 위해.
• 기존의 이원 또는 조합 최적화가 어려운 페널티의 한계를 극복하기 위해, 그래프 내 장거리 상호작용을 모델링할 수 있는 계산적으로 실현 가능한 정규화 방법을 개발하기 위해.
• 유전자 네트워크 분석 및 이미지 처리와 같은 응용 분야에서 연결된 구성 요소가 적은 부분그래프를 촉진함으로써 확장 가능하고 해석 가능한 특징 선택을 가능하게 하기 위해.
• 비볼록이지만 매우 연결된 페널티와 볼록이고 계산 가능한 최적화 사이의 격차를 메우기 위해, 경로 인코딩을 통한 볼록 완화를 도입하기 위해.

제안 방법

• 방향성 비순환 그래프(DAG)에서 경로를 통해 구조적인 희박성을 유도하는 경로 인코딩 페널티를 도입하며, 연결된 특징 부분집합을 선호한다.
• 비볼록 페널티가 연결된 부분그래프를 장려하는 것을 볼록 완화로 모델링하여 효율적인 최적화를 가능하게 한다.
• 변형된 그래프에서 최단 경로 계산을 통해 경로 선택 하위문제를 해결하며, 효율성을 위해 네트워크 플로우 기법을 활용한다.
• 이중 노름과 프록시 연산자를 사용해 반복적으로 활성 경로를 업데이트하는 반복 알고리즘을 활용하며, 최대 p회 반복 내에 수렴 보장이 된다.
• 경로 기반 페널티의 이중 노름을 사용해 최적성 조건을 유도하고 각 반복에서 새로운 경로 선택을 안내한다.
• 잠재 함수의 단조 감소를 통해 보장되는 몰입 보장이 되는 임계값 τ에 대한 매개변수 검색 전략을 사용한다.

실험 결과

연구 질문

• RQ1 그리고 그로 인해 탐욕적 또는 근사 알고리즘을 사용하지 않고도 장거리 연결성을 촉진할 수 있는 계산 가능하고 실현 가능한 정규화 방법을 설계할 수 있는가?
• RQ2 경로 기반 페널티를 어떻게 정의할 수 있을까? 이를 통해 네트워크 플로우 기법을 사용해 효율적으로 계산 가능한 프록시 연산자가 유도될 수 있도록 한다.
• RQ3 제안된 경로 인코딩 페널티가 기존의 그래프 희박성 방법에 비해 선택된 특징 부분집합의 연결성에 얼마나 향상시키는가?
• RQ4 유전자 네트워크나 이미지 특징과 같은 복잡한 그래프 구조를 가진 실제 데이터에서 제안된 방법이 확장 가능하고 효과적인가?

주요 결과

• 제안된 경로 인코딩 페널티는 DAG에서 경로를 중심으로 한 구조적 희박성 계산을 효율적으로 가능하게 하며, 최대 p회 반복 내에 수렴 보장이 된다.
• 기존의 정규화 함수에 비해 훨씬 더 잘 연결된 부분그래프를 달성하며, 특히 큰 일관성 있는 특징 그룹의 형성을 촉진한다.
• 합성 데이터, 이미지 및 유전체 데이터에 대한 실험 결과는 본 방법의 확장성과 선택된 특징의 연결 유지 능력 면에서 뛰어난 성능을 확인한다.
• 알고리즘의 최악의 경우 시간 복잡도는 O(p|E|)이며, 이는 큰 그래프에 대해서도 계산 가능함을 의미한다.
• 경로 인코딩 페널티는 Huang 등(2011)이 제안한 비볼록 페널티의 볼록 완화로 입증되었으며, 유사한 이론적 보장을 가진 계산 가능한 대안을 제공한다.
• 경로 선택을 위한 네트워크 플로우 최적화의 사용은 프록시 연산자가 효율적으로 계산될 수 있도록 보장하여 고차원 환경에서의 실용적 구현을 가능하게 한다.