[논문 리뷰] Fourier-Motzkin Elimination Software for Information Theoretic Inequalities

Ido B. Gattegno, Ziv Goldfeld외 1명|arXiv (Cornell University)|2016. 10. 13.

Wireless Communication Security Techniques참고 문헌 6인용 수 20

한 줄 요약

이 논문은 정보이론적 비율 영역을 위한 푸리에-모츠킨 소거(Fourier-Motzkin elimination, FME)를 자동화하고, 샤논 유형 부등식(STIs)을 사용하여 중복을 제거하는 오픈소스 MATLAB 소프트웨어인 FME-IT를 제시한다. 마르코프 관계와 엔트로피 분해에서 유도된 선형 프로그래밍과 STI 제약 조건을 통합함으로써, 보조 비율과 비활성 부등식을 제거하여 네트워크 정보이론에서 수작업 유도의 복잡성을 크게 감소시킨다.

ABSTRACT

We provide open-source software implemented in MATLAB, that performs Fourier-Motzkin elimination (FME) and removes constraints that are redundant due to Shannon-type inequalities (STIs). The FME is often used in information theoretic contexts to simplify rate regions, e.g., by eliminating auxiliary rates. Occasionally, however, the procedure becomes cumbersome, which makes an error-free hand-written derivation an elusive task. Some computer software have circumvented this difficulty by exploiting an automated FME process. However, the outputs of such software often include constraints that are inactive due to information theoretic properties. By incorporating the notion of STIs (a class of information inequalities provable via a computer program), our algorithm removes such redundant constraints based on non-negativity properties, chain-rules and probability mass function factorization. This newsletter first illustrates the program's abilities, and then reviews the contribution of STIs to the identification of redundant constraints.

연구 동기 및 목표

• 네트워크 정보이론에서 간소화된 비율 영역을 유도할 때 수반되는 계산의 복잡성과 실수의 가능성을 해소하기 위해.
• 보조 비율과 중복 제약 조건을 제거하여 비율 영역 표현의 복잡성을 감소시키기 위해.
• 정보이론적 성질에 의해 유도되는 중복 제약 조건을 식별하고 제거하기 위해 샤논 유형 부등식(STIs)을 FME 과정에 통합하기 위해.
• 비율 부등식, PMF 분해, STI 제약 조건을 사용한 자동 간소화를 지원하는 사용자 친화적 GUI 기반 도구를 제공하기 위해.
• 엔트로피 제약 조건 하에서 선형 프로그래밍 기반의 중복 검출을 통합함으로써 비율 영역 간소화의 정확성과 효율성을 향상시키기 위해.

제안 방법

• FME-IT 소프트웨어는 입력된 비율 부등식을 매트릭스 형태로 변환하며, 비율과 공동 엔트로피를 모두 선형 시스템 내의 변수로 간주한다.
• 지정된 보조 비율을 제거하기 위해 푸리에-모츠킨 소거를 적용하여 나머지 변수들에 대한 간소화된 부등식 시스템을 생성한다.
• 매트릭스 G를 통해 샤논 유형 부등식(STIs)을 선형 제약 조건으로 표현함으로써 모든 엔트로피 기반 부등식이 음이 아닌 값을 가지도록 보장한다.
• 기초 채널 모델에서 유도된 마르코프 관계와 PMF 분해를 매트릭스 Q를 사용한 등식 제약 조건으로 모델링하여 조건부 독립성을 통해 엔트로피를 연결한다.
• 레마 1 기반의 수정된 선형 프로그래밍 공식화를 통해 STI 및 PMF 제약 조건 집합 하에서 등식 제약 조건을 처리함으로써 중복 부등식을 식별한다.
• 정리 1을 적용하여 제약 조건이 부여된 STIs를 검증함으로써, 주어진 PMF 구조 하에서만 유효한 부등식만 최종 출력에 유지되도록 보장한다.

실험 결과

연구 질문

• RQ1 정보이론에서 샤논 유형 부등식에 의한 지능적인 중복 제거 기반으로 푸리에-모츠킨 소거를 자동화할 수 있는가?
• RQ2 마르코프 관계와 PMF 분해는 비율 영역 간소화에서 어떻게 선형 등식 제약 조건으로 공식화될 수 있는가?
• RQ3 단순한 대수적 중복성 외에도 선형 프로그래밍은 정보이론적 비율 영역에서 중복 부등식을 탐지하는 데 어느 정도 활용될 수 있는가?
• RQ4 STI 제약 조건을 FME에 통합함으로써 복잡한 모델(예: 한-코바야시 내부 경계)에서 비율 영역의 부등식 수를 크게 줄일 수 있는가?
• RQ5 PMF 구조는 FME 처리 후 비율 영역에서 엔트로피 기반 부등식의 중복성에 어떤 영향을 미치는가?

주요 결과

• FME-IT 소프트웨어는 간섭 채널의 한-코바야시 내부 경계를 보조 비율 제거와 중복 부등식 제거를 통해 성공적으로 간소화하였다.
• 소프트웨어는 상호정보량과 조건부 엔트로피의 음이 아닌 성질 등 샤논 유형 부등식에 의해 유도되는 중복 부등식을 식별하고 제거한다. 이는 대수적으로 존재하더라도 정보이론적 성질에 의해 유도되는 경우에 해당한다.
• PMF 분해 제약 조건(예: 마르코프 체인)을 통합함으로써 특정 확률 구조 하에서만 유효한 부등식을 유지하지 않도록 알고리즘이 방지한다.
• 표준 FME로는 포착되지 않지만 정보이론적 성질에 의해 유도되는 중복 부등식을 제거함으로써, HK 내부 경계의 부등식 수를 감소시킨다.
• 정리 1을 통한 제약 조건이 부여된 STIs의 사용은 주어진 PMF 구조 하에서만 유효한 부등식만 유지함으로써 출력의 정확성과 압축성을 향상시킨다.
• GUI 기반 구현 덕분에 전문가가 아닌 사용자도 복잡한 비율 영역을 입력하고, 수작업 유도 오류 없이 정보이론적으로 타당한 간소화된 표현을 얻을 수 있다.